MCTest
Francisco de Assis Zampirolli
C O M O C R I A R E C O R R I G I R E X A M E S
P A R A M E T R I Z A D O S A U T O M A T I C A M E N T E
2023
MCTest:
Como Criar e Corrigir Exames Parametrizados Automaticamente
Francisco de Assis Zampirolli
19 de novembro de 2023
© 2023 Francisco de Assis Zampirolli da Universidade Federal do ABC (UFABC).
Todos os direitos reservados.
Este livro est´a sob a Licen¸ca:
Creative Commons Attribution-ShareAlike 4.0 International License
Detalhes no endere¸co: creativecommons.org/licenses/by-sa/4.0
Projeto gr´afico: Francisco de Assis Zampirolli
CATALOGAC¸
˜
AO NA FONTE
SISTEMA DE BIBLIOTECAS DA UNIVERSIDADE FEDERAL DO ABC
Z26m Zampirolli, Francisco de Assis
MCTest : como criar e corrigir exames parametrizados automaticamente
/ Francisco de Assis Zampirolli – Santo Andr´e, SP : Edi¸c˜ao do Autor, 2023.
xxiv, 220 p. : il.
ISBN: 978-65-00-79086-3
1. Avalia¸c˜ao da Aprendizagem. 2. Corre¸c˜ao Autom´atica. 3. Quest˜ao
Param´etrica. 4. Programa¸c˜ao – Problemas e Exerc´ıcios. 5. Moodle. T´ıtulo.
CDD 22 ed. — 005.4
Francisco de Assis Zampirolli MCTest ii
Dedico este trabalho com imenso amor `a minha esposa Cristina e aos meus filhos,
Rafael e Eduardo. Agrade¸co de cora¸c˜ao por estarem sempre ao meu lado em todas
as conquistas e desafios da vida.
Francisco de Assis Zampirolli MCTest iii
Francisco de Assis Zampirolli MCTest iv
Ep´ıgrafe
“N˜ao basta saber, ´e preciso aplicar. N˜ao basta querer, ´e preciso tamb´em fazer.”
(Johann Wolfgang von Goethe)
v
Francisco de Assis Zampirolli MCTest vi
Pref´aceis
Pref´acio da primeira edi¸c˜ao
A avalia¸c˜ao dos estudantes ´e uma atividade crucial para o trabalho de um professor, ao
permitir avaliar de maneira precisa o desempenho dos estudantes ao longo do curso, fornecendo
feedback importante para o seu desenvolvimento acadˆemico. Al´em disso, a avalia¸c˜ao tamb´em ´e um
meio importante para aprimorar a pr´atica educativa, permitindo que os professores identifiquem
pontos fortes e fracos de sua metodologia e aprimorem sua abordagem pedag´ogica para proporcionar
um melhor aprendizado aos estudantes.
Avaliar in´umeros estudantes individualizadamente ´e uma tarefa desafiadora para professores
em todos os n´ıveis de ensino, especialmente em disciplinas que exigem habilidades e competˆencias
espec´ıficas. Esse desafio ´e ainda maior em exames que envolvem exerc´ıcios de programa¸c˜ao (EP),
uma vez que exigem uma avalia¸c˜ao minuciosa dos processos de resolu¸c˜ao de problemas, al´em da
compreens˜ao do c´odigo e da l´ogica utilizados pelos estudantes.
Este livro visa prover uma solu¸c˜ao abrangente e eficaz para a avalia¸c˜ao de estudantes. A abor-
dagem colaborativa adotada por docentes da Universidade Federal do ABC (UFABC), empregando
o sistema de c´odigo aberto MCTest, viabiliza a reutiliza¸c˜ao de conjuntos de quest˜oes previamente
utilizados por outros colegas que ministram a mesma disciplina.
O MCTest permite a cria¸c˜ao e corre¸c˜ao de exames de m´ultipla escolha e dissertativa, incluindo
EP no plugin VPL (Virtual Programming Lab) do ambiente Moodle. Ele oferece quest˜oes parame-
trizadas e exames individualizados que podem ser usados por v´arias turmas simultaneamente. A
principal contribui¸c˜ao desse sistema reside na capacidade de compartilhar quest˜oes parametrizadas,
que incorporam enunciados em L
A
T
E
X intercalados com c´odigos em Python.
Este livro consolida mais de uma d´ecada de experiˆencia na avalia¸c˜ao anual de milhares de
estudantes, a partir de 2012, quando se deu in´ıcio `a automatiza¸c˜ao do processo seletivo da Espe-
cializa¸c˜ao em Tecnologias e Sistemas de Informa¸c˜ao (TSI) da UFABC, com a cria¸c˜ao da primeira
vers˜ao do MCTest, desenvolvida em Matlab. Desde ent˜ao, o sistema passou por um substancial
processo de evolu¸c˜ao, beneficiando-se da colabora¸c˜ao de diversos colegas da UFABC, cujas contri-
bui¸c˜oes permitiram identificar novas necessidades e aprimorar suas funcionalidades. A vers˜ao web
mais recente abordada neste livro ´e a 5.2 e encontrando-se dispon´ıvel para instala¸c˜ao no endere¸co
github.com/fzampirolli/mctest. Duas implanta¸c˜oes ativas do sistema est˜ao em execu¸c˜ao na UFABC:
a vers˜ao de produ¸c˜ao, hospedada em mctest.ufabc.edu.br; e a vers˜ao de desenvolvimento, backup e
divulga¸c˜ao em vision.ufabc.edu.br.
vii
´
E de extrema importˆancia enfatizar que o MCTest n˜ao tem um car´ater comercial e n˜ao
segue rigidamente o ciclo de vida convencional de desenvolvimento de software. Sua abordagem ´e
fundamentada na prototipagem, seguindo os princ´ıpios da Engenharia de Software, em suma, novos
requisitos e prot´otipo r´apido para valida¸c˜ao de conceitos. No entanto, at´e o momento, o sistema
ainda n˜ao atingiu sua vers˜ao final, desenvolvido predominantemente por um ´unico programador
(com exce¸c˜ao da adapta¸c˜ao realizada no VPL, pelo Heitor Rodrigues Savegnago e seu orientador
Prof. Dr. Paulo Henrique Pisani, a quem expresso minha sincera gratid˜ao). Para poder progredir
em dire¸c˜ao a um produto comercial, seriam necess´arios processos de engenharia reversa e cont´ınuos
aprimoramentos.
Apesar das limita¸c˜oes acima mencionadas, o MCTest ´e utilizado por alguns docentes e gestores
da UFABC, desempenhando um papel de significativa relevˆancia no ˆambito da avalia¸c˜ao discente.
Essa utiliza¸c˜ao resulta n˜ao apenas em uma not´avel redu¸c˜ao da carga de trabalho repetitivo, mas
tamb´em contribui para a mitiga¸c˜ao de poss´ıveis ocorrˆencias de falhas.
A implanta¸c˜ao do sistema ´e agilizada por meio da ado¸c˜ao do ambiente VirtualBox (vir-
tualbox.org), que permite uma implanta¸c˜ao local para fins de teste em uma m´aquina com bom
desempenho de processamento, armazenamento (5 GB livre) e mem´oria RAM (≥ 8 GB). Ao optar
pela instala¸c˜ao dos sistemas operacionais Ubuntu ou Mint, seguida pela subsequente execu¸c˜ao do
arquivo setup-all.sh disponibilizado no reposit´orio GitHub (github.com/fzampirolli/mctest), medi-
ante privil´egios de administrador, o MCTest ´e instalado de forma cont´ınua, estando acompanhado
por um conjunto inicial de dados de teste presente no arquivo mctest.sql. Os exemplos ilustrati-
vos apresentados neste trabalho encontram-se no arquivo book/1ed-br/mctestLivro.sql, estando
tamb´em acess´ıveis no reposit´orio GitHub. A fim de empregar esses exemplos no MCTest, ´e necess´ario
observar as instru¸c˜oes fornecidas no arquivo setup-all.sh.
A obra foi elaborada em 14 cap´ıtulos, divididos em quatro partes principais. A Parte I tem
como principal objetivo introduzir os leitores ao sistema, oferecendo detalhes sobre seus componentes
e funcionalidades essenciais. A Parte II explora a variedade de tipos de quest˜oes dispon´ıveis. A Parte
III abrange a cria¸c˜ao e administra¸c˜ao de exames. Por fim, a Parte IV proporciona estudos de caso e
exemplos pr´aticos, sendo estes ´ultimos divulgados em artigos cient´ıficos. Estes experimentos foram
realizados em modalidades h´ıbridas, totalmente remotas e totalmente presenciais. Para aqueles sem
interesse na parte param´etrica, que requer conhecimentos de programa¸c˜ao, ou sem usar o banco de
quest˜oes, h´a a possibilidade de pular diversos cap´ıtulos, conforme explicado no final do Cap´ıtulo 1.
Ao usar o MCTest, os professores tˆem `a disposi¸c˜ao uma ferramenta para aprimorar a avalia¸c˜ao
das habilidades e competˆencias dos estudantes. Assim, os docentes conseguem reduzir o esfor¸co
exigido na cria¸c˜ao e corre¸c˜ao de exames e atividades pr´aticas. No entanto, o ponto crucial desse
processo reside na ampla cole¸c˜ao de quest˜oes elaboradas e disponibilizadas pelos professores da
UFABC, que atualmente totalizam 2.273 quest˜oes, embora limitadas aos docentes de cada disciplina.
O MCTest permanece em constante processo de evolu¸c˜ao e aprimoramento, incentivando os
usu´arios a contribu´ırem com suas experiˆencias para torn´a-lo ainda mais eficiente e alinhado com as
demandas educacionais em constante transforma¸c˜ao.
Ao longo desta obra, as funcionalidades do MCTest ser˜ao exploradas, permitindo aos leitores
Francisco de Assis Zampirolli MCTest viii
compreenderem suas caracter´ısticas e recursos. Espera-se que esse trabalho proveja um guia completo
sobre como empregar o MCTest em ambientes educacionais.
A partir de 2023, estudantes de Trabalho de Conclus˜ao de Curso e Mestrado em Ciˆencia da
Computa¸c˜ao na UFABC desempenham um papel ativo no processo de implementa¸c˜ao de melhorias no
sistema. H´a expectativas de que essas melhorias sejam incorporadas `a vers˜ao atual disponibilizada
no GitHub.
´
E importante ressaltar, contudo, que ainda existem ´areas que demandam aprimora-
mento. Isso inclui a navega¸c˜ao entre as interfaces e a avalia¸c˜ao das competˆencias e habilidades dos
estudantes. Por exemplo, em um EP submetido por meio do VPL, quando se requer a utiliza¸c˜ao de
estruturas de repeti¸c˜ao com o comando while, a avalia¸c˜ao deve ser condizente com o cumprimento
ou descumprimento dessa especifica¸c˜ao.
Com o intuito de aprimorar a compreens˜ao durante a leitura, ´e importante salientar que
os seguintes termos ser˜ao amplamente utilizados ao longo deste trabalho: exerc´ıcio de programa¸c˜ao
(EP), quest˜ao de m´ultipla escolha (QM), quest˜ao dissertativa ou de texto (QT) e quadro de respostas
(QR). Nesse contexto, os estudantes efetuam as marca¸c˜oes das QMs no QR.
Leitores interessados em adquirir vers˜oes impressas deste livro podem encontrar mais in-
forma¸c˜oes na pasta book dispon´ıvel no seguinte endere¸co: github.com/fzampirolli/mctest.
Este livro foi concebido e elaborado exclusivamente pelo autor. No entanto, lamentavelmente,
n˜ao passou por um processo de revis˜ao formal. Os textos apresentados foram predominantemente
avaliados por meio de consultas a redes generativas, pertencentes a uma categoria de modelos de
aprendizado de m´aquina. A compreens˜ao dos colegas interessados ´e confiada para o aprimoramento
de edi¸c˜oes futuras por meio de seus valiosos feedbacks construtivos.
Finalmente, ´e de suma importˆancia enfatizar que as opini˜oes e declara¸c˜oes apresentadas nesta
obra s˜ao devidamente embasadas por referˆencias sempre que poss´ıvel, ou por meio de experimentos
realizados e devidamente citados no pr´oprio livro. Nos casos em que a obten¸c˜ao de referˆencias se torna
invi´avel, tais posicionamentos refletem a perspectiva pessoal do autor e n˜ao devem ser considerados
uma representa¸c˜ao oficial da institui¸c˜ao `a qual o autor est´a afiliado.
Francisco de Assis Zampirolli
7 de setembro de 2023
Francisco de Assis Zampirolli MCTest ix
Pref´acio da segunda edi¸c˜ao – em constru¸c˜ao
As melhorias e corre¸c˜oes realizadas no texto da primeira edi¸c˜ao ser˜ao inclu´ıdas nesta se-
gunda edi¸c˜ao. Agrade¸co aos colegas que apontaram algumas informa¸c˜oes que geralmente n˜ao foram
destacadas no texto inicial sendo inseridas neste novo texto, como segue:
Destaque:
Este ´e um exemplo de destaque para chamar a aten¸c˜ao do leitor em algum ponto.
Al´em disso, foi inserida a Se¸c˜ao 8.7 – Recomenda¸c˜oes para realiza¸c˜ao tranquila de exames
presenciais, para destacar algumas recomenda¸c˜oes essenciais para garantir a realiza¸c˜ao de um exame
impresso com quest˜oes de m´ultipla escolha. Por exemplo, o m´etodo de corre¸c˜ao autom´atica N
˜
AO
funcionar´a se os quatro discos pretos n˜ao estiverem na p´agina digitalizada. Al´em disso, ao utilizar
quest˜oes dispon´ıveis no banco de dados do MCTest, ´e necess´ario clicar no bot˜ao “Criar-Varia¸c˜oes”
antes de clicar no bot˜ao “Criar-PDF”. Adicionalmente, o n´umero ID exibido ao lado do bot˜ao “Criar-
Varia¸c˜oes” DEVE ser o mesmo n´umero exibido em vermelho na folha do exame impresso, abaixo
do cabe¸calho. Caso esses n´umeros sejam diferentes das p´aginas digitalizadas, a corre¸c˜ao autom´atica
N
˜
AO funcionar´a. O c´odigo foi adaptado para incluir a varia¸c˜ao do exame tamb´em no QRCode. No
entanto, para aceitar as varia¸c˜oes anteriores, seria necess´ario armazenar todas as varia¸c˜oes geradas
no banco de dados, o que consumiria muito espa¸co em disco, sendo invi´avel no momento.
Foi criada a subse¸c˜ao 8.6 – Exames adaptativos para explicar o funcionamento de uma nova
funcionalidade que permite a cria¸c˜ao de exames adaptativos, considerando o desempenho do estu-
dante em exames anteriores. Para que essa funcionalidade opere corretamente, ´e necess´ario que
as quest˜oes de m´ultipla escolha estejam classificadas conforme a taxonomia de Bloom e que sejam
geradas v´arias varia¸c˜oes do exame. Dessa forma, os estudantes que n˜ao obtiveram um bom desem-
penho em exames anteriores receber˜ao exames personalizados, com n´ıveis de quest˜oes classificados
nos primeiros n´ıveis dessa taxonomia.
´
E altamente aconselh´avel seguir a pr´atica de, antes de administrar um exame para uma ou
diversas turmas com in´umeros estudantes, imprimir uma c´opia, preenchˆe-la e submetˆe-la a uma
corre¸c˜ao automatizada. Caso essa abordagem demonstre efic´acia durante essa simula¸c˜ao preliminar,
´e razo´avel esperar que funcione de maneira adequada durante a situa¸c˜ao real de aplica¸c˜ao, corre¸c˜ao
e fornecimento de feedback do exame.
Francisco de Assis Zampirolli MCTest x
Conte´udo
Lista de Figuras xv
Lista de C´odigos xix
Lista de Abreviaturas e Siglas xxi
1 Introdu¸c˜ao 1
1.1 Apresenta¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 M´etodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Breve hist´orico do MCTest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 MCTest no TSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 Vers˜oes do MCTest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.3 MCTest nos processos seletivos e exames de disciplinas do TSI . . . . . . . . . 5
1.2.4 MCTest na Escola Preparat´oria . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Direitos autorais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 Direitos autorais do software . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 Direitos autorais das quest˜oes dispon´ıveis no BD . . . . . . . . . . . . . . . . . 8
1.4 Instalando o MCTest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Organiza¸c˜ao do livro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
I Fundamentos do MCTest 11
2 Vis˜ao geral do MCTest 13
2.1 Navega¸c˜ao geral e usu´arios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Criar entidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1 Instituto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2 Curso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.3 Disciplina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.4 Turma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.5 T´opico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
xi
CONTE
´
UDO
2.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3 Recursos avan¸cados 37
3.1 Administrador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.1.1 Criar um curso relacionado a dois institutos . . . . . . . . . . . . . . . . . . . . 38
3.1.2 Criar uma disciplina relacionada a dois cursos . . . . . . . . . . . . . . . . . . . 38
3.1.3 Acesso ao banco de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Coordenador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.1 Criar um t´opico relacionado a duas ou mais disciplinas . . . . . . . . . . . . . . 41
3.2.2 Criar v´arias turmas com arquivo CSV . . . . . . . . . . . . . . . . . . . . . . . 43
3.3 Professor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1 Criar turma com arquivo CSV . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3.2 Criar turma com arquivo CSV – restri¸c˜oes . . . . . . . . . . . . . . . . . . . . . 49
3.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
II Quest˜oes no MCTest 51
4 Quest˜oes est´aticas 53
4.1 Tutoriais gerais sobre a navega¸c˜ao de quest˜oes . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Quest˜ao de m´ultipla escolha (QM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 Quest˜ao dissertativa (QT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5 Quest˜oes param´etricas 65
5.1 QM param´etrica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.1.1 Um exemplo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.1.2 QM param´etrica no MCTest . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2 QT param´etrica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.1 Exemplo 1 – Teste de mesa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2.2 Exemplo 2 – Teste de mesa e gabarito . . . . . . . . . . . . . . . . . . . . . . . 71
5.2.3 Exemplo 3 – Teste de mesa e gabarito com settrace . . . . . . . . . . . . . . 74
5.3 QT param´etrica, com c´odigo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3.1 Introdu¸c˜ao ao Moodle e ao VPL . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.3.2 Quest˜ao com exerc´ıcio de programa¸c˜ao no Moodle+VPL . . . . . . . . . . . . . 80
5.3.3 Quest˜ao com exerc´ıcio de programa¸c˜ao no MCTest+Moodle+VPL . . . . . . . 82
5.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
III Exames no MCTest 89
6 Vis˜ao geral dos exames 91
6.1 Acesso `a tela de exames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Francisco de Assis Zampirolli MCTest xii
CONTE
´
UDO
6.2 Recorte I da tela de exame . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2.1
´
Area `a esquerda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2.2
´
Area central . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.2.3
´
Area `a direita . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.3 Recorte II da tela de exame – turmas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.4 Recorte III da tela de exame – quest˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.5 Recorte IV da tela de exame – configurando os detalhes . . . . . . . . . . . . . . . . . 98
6.6 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7 Exames com Quadro de Respostas (QR) 103
7.1 Utilizando exames exclusivamente com QR . . . . . . . . . . . . . . . . . . . . . . . . 103
7.1.1 Estilo vertical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7.1.2 Estilo horizontal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7.2 Restri¸c˜oes nos QRs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.3 Corrigindo exames com QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.3.1 Arquivo CSV com as corre¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.3.2 Teoria de Resposta ao Item . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
7.3.3 Feedback ao estudante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
8 Exames com QR+QM e/ou QT 115
8.1 Criando QMs e uma QT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
8.2 Criando as varia¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
8.3 Detalhando os gabaritos no arquivo CSV . . . . . . . . . . . . . . . . . . . . . . . . . . 119
8.4 Criando o PDF do exame com QR+QM+QT . . . . . . . . . . . . . . . . . . . . . . . 121
8.5 Corrigindo exames com QR+QM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
8.6 Exames adaptativos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8.7 Recomenda¸c˜oes para realiza¸c˜ao tranquila de exames presenciais . . . . . . . . . . . . . 128
8.8 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
9 Varia¸c˜oes de exames com QM+QT para o Moodle 131
9.1 Criando exames e exportando arquivos Aiken e XML . . . . . . . . . . . . . . . . . . . 132
9.1.1 QM – equa¸c˜ao de primeiro grau – idade . . . . . . . . . . . . . . . . . . . . . . 132
9.1.2 QM – equa¸c˜ao da reta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
9.1.3 QT com resposta exata – ordena parte do vetor . . . . . . . . . . . . . . . . . . 132
9.1.4 Criando exame e exportando as varia¸c˜oes . . . . . . . . . . . . . . . . . . . . . 135
9.2 Importando arquivo XML no Moodle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
9.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Francisco de Assis Zampirolli MCTest xiii
CONTE
´
UDO
10 Exames com MCTest+Moodle+VPL 149
10.1 Criando um exame com QT integrado ao VPL . . . . . . . . . . . . . . . . . . . . . . 150
10.1.1 Criando uma nova quest˜ao integrada ao VPL . . . . . . . . . . . . . . . . . . . 150
10.1.2 Criando as varia¸c˜oes e imprimindo o PDF do exame . . . . . . . . . . . . . . . 152
10.1.3 Criando e configurando a atividade VPL para o exame . . . . . . . . . . . . . . 153
10.1.4 Solu¸c˜oes da atividade VPL para o exame . . . . . . . . . . . . . . . . . . . . . 156
10.2 Detalhando o arquivo linker.json . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
10.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
IV Experimentos 163
11 MCTest vers˜oes 1, 2 e 3 - Quadro de Respostas (QR) 165
11.1 MCTest-1: vers˜ao no Matlab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
11.2 MCTest-2: vers˜ao no Android . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
11.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
12 MCTest vers˜oes 4, 4.G e 5 171
12.1 MCTest-4: gerando e corrigindo quest˜oes criadas no L
A
T
E
X . . . . . . . . . . . . . . . . 172
12.1.1 Artigo descrevendo as vers˜oes do MCTest 4 e 4.G . . . . . . . . . . . . . . . . . 172
12.1.2 Artigo comparando as modalidades semipresencial e presencial CS1 com base
na utilidade do MCTest-4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
12.1.3 Artigo definindo a parametriza¸c˜ao do MCTest ap´os a vers˜ao 4 . . . . . . . . . 175
12.2 MCTest-5: a vers˜ao web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
12.2.1 Artigo apresentando a primeira vers˜ao web do MCTest . . . . . . . . . . . . . . 179
12.2.2 Artigo descrevendo o MCTest em conjunto com Google Forms e Google Sheets 185
12.2.3 Artigo descrevendo a ado¸c˜ao de QMs com pesos diferentes nas alternativas . 190
12.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
13 MCTest+Moodle+VPL 195
13.1 MCTest-5, com Moodle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
13.2 MCTest-5, com Moodle+VPL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
13.2.1 Artigo com a primeira integra¸c˜ao entre MCTest+Moodle+VPL . . . . . . . . . 196
13.2.2 Artigo aplicando a integra¸c˜ao MCTest+Moodle+VPL em CS0 . . . . . . . . . 198
13.2.3 Artigo sobre o uso de m´ultiplas linguagens de programa¸c˜ao em CS1 . . . . . . 199
13.2.4 Artigo aplicando a integra¸c˜ao MCTest+Moodle+VPL em CS1 . . . . . . . . . 201
13.2.5 Artigo explorando a integra¸c˜ao de jogos no ensino de CS0 . . . . . . . . . . . . 202
13.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
14 Conclus˜oes 205
14.1 Novas possibilidades de aprimoramento . . . . . . . . . . . . . . . . . . . . . . . . . . 206
14.2 Novas publica¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
Francisco de Assis Zampirolli MCTest xiv
CONTE
´
UDO
Francisco de Assis Zampirolli MCTest xvi
Lista de Figuras
1.1 Organiza¸c˜ao do livro. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1 Tela principal do MCTest. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Recorte do menu de navega¸c˜ao principal do MCTest. . . . . . . . . . . . . . . . . . . . 16
2.3 Tela para a inscri¸c˜ao do usu´ario. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4 Tela para administrador atualizar, apagar ou criar um instituto. . . . . . . . . . . . . 18
2.5 Tela para o administrador criar um instituto. . . . . . . . . . . . . . . . . . . . . . . . 18
2.6 Tela apresentando os detalhes de um instituto. . . . . . . . . . . . . . . . . . . . . . . 19
2.7 Tela para confirmar a exclus˜ao do instituto. . . . . . . . . . . . . . . . . . . . . . . . . 20
2.8 Tela que apresenta a lista de cursos, na qual o administrador pode atualizar, apagar
ou criar um novo curso. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.9 Tela para administrador criar um curso novo. . . . . . . . . . . . . . . . . . . . . . . . 21
2.10 Tela apresentando os detalhes de um curso. . . . . . . . . . . . . . . . . . . . . . . . . 22
2.11 Tela que apresenta a lista de disciplinas, na qual o administrador pode atualizar,
apagar ou criar uma nova disciplina. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.12 Tela para o administrador criar uma disciplina. Tela semelhante `a primeira parte da
tela de atualizar uma disciplina. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.13 Segunda parte da tela para o administrador atualizar uma disciplina. . . . . . . . . . . 25
2.14 (Parte 1) Tela apresentando os detalhes de uma disciplina. . . . . . . . . . . . . . . . . 26
2.15 (Parte 2) Continua¸c˜ao da tela apresentando os detalhes de uma disciplina. . . . . . . . 27
2.16 Tela que apresenta a lista de turmas, na qual um professor de uma disciplina pode
criar uma nova turma, al´em de atualizar ou apagar turmas existentes. . . . . . . . . . 28
2.17 Tela utilizada pelo professor para criar uma nova turma ap´os clicar no bot˜ao “Criar
uma nova Turma”, na tela da Figura 2.16.
´
E importante destacar que o nome da
turma n˜ao pode conter acentos ou caracteres especiais, pois esse nome far´a parte do
cabe¸calho do exame. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.18 Tela para um professor de uma disciplina poder atualizar uma turma, inserindo estu-
dantes com a importa¸c˜ao de um arquivo no formato CSV. . . . . . . . . . . . . . . . . 30
2.19 Tela para um professor de uma disciplina poder atualizar uma turma, atualizando ou
apagando estudantes da turma. Al´em disso, ´e poss´ıvel incluir um novo estudante na
turma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
xvii
LISTA DE FIGURAS
2.20 Tela para um professor de uma disciplina poder atualizar os dados de um estudante
da turma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.21 Tela com a lista de t´opicos para o coordenador (ou administrador) criar, atualizar ou
apagar um t´opico de disciplina(s). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.22 Tela para o coordenador (ou administrador) atualizar um t´opico de uma disciplina. . . 33
2.23 Tela apresentando os detalhes de um t´opico. . . . . . . . . . . . . . . . . . . . . . . . . 34
2.24 Tela apresentando as trˆes primeiras quest˜oes de um t´opico. . . . . . . . . . . . . . . . 35
3.1 Tela com a lista de institutos vista pelo administrador, que pode atualizar, apagar ou
criar um instituto para simular um curso pertencer aos institutos CECS e CMCC. . . 39
3.2 Tela com a lista de curso, vista pelo administrador. . . . . . . . . . . . . . . . . . . . . 40
3.3 Tela para o administrador criar um curso novo relacionado a dois institutos. Manter
a tecla “Ctrl” pressionada para escolher mais de uma op¸c˜ao. . . . . . . . . . . . . . . . 41
3.4 Tela com a lista de curso, vista pelo administrador, ap´os ter criado o curso Engenharia
da Computa¸c˜ao na Figura 3.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5 Tela com a lista de disciplinas, vista pelo administrador, com destaque para a disciplina
PDI, que est´a relacionada aos cursos de BCC e POSCOMP. . . . . . . . . . . . . . . . 43
3.6 Tela com a lista de entidades que o administrador pode fazer manuten¸c˜ao diretamente
no BD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.7 Tela com a lista de t´opicos, vista pelo coordenador.
´
E poss´ıvel observar o comparti-
lhamento de t´opicos entre disciplinas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.8 Tela com detalhes da disciplina de Processamento da Informa¸c˜ao, vista pelo coorde-
nador, com os t´opicos compartilhados tamb´em apresentados na Figura 3.7. . . . . . . 46
3.9 (Parte 1) Tela de cria¸c˜ao da disciplina de Processamento da Informa¸c˜ao pelo adminis-
trador. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.10 (Parte 2) Tela de cria¸c˜ao da disciplina de Processamento da Informa¸c˜ao pelo admi-
nistrador.
´
E poss´ıvel incluir professores, turmas e estudantes pela importa¸c˜ao de dois
arquivos no formato CSV. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.11 Tela mostrando o resultado do cadastro de estudantes utilizando a importa¸c˜ao de um
arquivo no formato CSV. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.1 Tela para o professor visualizar todas as quest˜oes de disciplinas que est´a cadastrado. . 54
4.2 Exibi¸c˜ao de erro ao tentar modificar quest˜ao criada por outro autor. . . . . . . . . . . 54
4.3 Exibi¸c˜ao da quest˜ao QE1 criada por outro autor. . . . . . . . . . . . . . . . . . . . . . 55
4.4 Tela para o professor visualizar suas quest˜oes e criar novas, incluindo importa¸c˜ao de
formato TXT. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.5 Tela para um professor criar uma nova quest˜ao. . . . . . . . . . . . . . . . . . . . . . . 58
4.6 Tela com valores preenchidos para criar uma nova quest˜ao, antes de clicar no bot˜ao
“Salvar”. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.7 Tela de atualiza¸c˜ao para QM sem alternativas e feedback, previamente criada pelo
professor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Francisco de Assis Zampirolli MCTest xviii
LISTA DE FIGURAS
4.8 Recorte do PDF gerado ap´os clicar no bot˜ao “Criar-PDF”, na Figura 4.7. . . . . . . . 62
4.9 Recorte do PDF gerado ap´os clicar no bot˜ao “Criar-PDF”, na Figura 4.7, para a
quest˜ao atualizada com cinco alternativas. . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.10 Recorte do PDF gerado ap´os clicar no bot˜ao “Criar-PDF”, na Figura 4.7, para uma
quest˜ao dissertativa (“Type: QT”). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.11 Recorte da “Descri¸c˜ao” de uma QT de teste de mesa. . . . . . . . . . . . . . . . . . . 63
4.12 Recorte do PDF gerado da QT de teste de mesa. . . . . . . . . . . . . . . . . . . . . . 64
5.1 Recorte do PDF gerado para a quest˜ao definida no C´odigo 5.3. . . . . . . . . . . . . . 70
5.2 Recorte do PDF gerado para a quest˜ao definida no C´odigo 5.4. . . . . . . . . . . . . . 73
5.3 Recorte do PDF gerado para a quest˜ao definida nos C´odigos 5.5 e 5.6. . . . . . . . . . 87
5.4 Recorte do PDF gerado para a quest˜ao definida nos C´odigos 5.8 e 5.9. . . . . . . . . . 88
5.5 Recorte do PDF gerado para a QT definida nos C´odigos 5.12 e 5.13. . . . . . . . . . . 88
6.1 Tela de exames do professor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6.2 Tela para criar um novo exame. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.3 Recorte do PDF gerado com as configura¸c˜oes padr˜ao, contendo apenas o cabe¸calho e
o QR. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.4 Recorte I da tela de exame – ver explica¸c˜oes no texto sobre os bot˜oes. . . . . . . . . . 95
6.5 Recorte II da tela de exame, com as turmas do professor. . . . . . . . . . . . . . . . . 98
6.6 Recorte III da tela de exame, com as quest˜oes da disciplina. . . . . . . . . . . . . . . . 99
6.7 Recorte IV da tela de exame, configurando os detalhes do exame. . . . . . . . . . . . . 99
7.1 Recorte de um exame digitalizado em formato PDF no estilo vertical. . . . . . . . . . 105
7.2 Recorte de um exame em formato PDF no estilo vertical, com as instru¸c˜oes. . . . . . . 105
7.3 Recorte de um exame digitalizado em formato PDF no estilo vertical. . . . . . . . . . 106
7.4 Exemplos de PDFs de exames com 245 quest˜oes no estilo horizontal e 200 quest˜oes
no estilo vertical. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.5 Exemplo de PDF de um exame com 18 quest˜oes, cinco quest˜oes por bloco e dois blocos
por linha. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
7.6 Exemplos de exames digitalizados a partir do PDF mostrado na Figura 7.5. . . . . . . 108
7.7 Recortes das quest˜oes marcadas erradamente na Figura 7.6–(b). . . . . . . . . . . . . . 110
7.8 PDF com o feedback das corre¸c˜oes enviado para o e-mail do estudante. . . . . . . . . . 113
8.1 Recorte da tela de configura¸c˜ao do exame. . . . . . . . . . . . . . . . . . . . . . . . . . 118
8.2 Recorte da tela de configura¸c˜ao do exame, detalhando o bot˜ao “Criar-Varia¸c˜oes”. . . . 119
8.3 Mensagem ap´os clicar no bot˜ao “Criar-Varia¸c˜oes”. . . . . . . . . . . . . . . . . . . . . 119
8.4 E-mail enviado ao professor ap´os clicar no bot˜ao “Criar-Varia¸c˜oes”. . . . . . . . . . . . 120
8.5 Recorte do PDF do exame gerado ap´os a a¸c˜ao do bot˜ao “Criar-PDF”. . . . . . . . . . 122
8.6 E-mail enviado ao professor ap´os clicar no bot˜ao “Criar-PDF”. . . . . . . . . . . . . . 123
8.7 Recorte do e-mail com parte do PDF do exame enviado como feedaback ao estudante,
ap´os a a¸c˜ao do bot˜ao “Upload-PDF”. . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Francisco de Assis Zampirolli MCTest xix
LISTA DE FIGURAS
9.1 Recorte do PDF gerado para a quest˜ao das idades dos irm˜aos, referente ao C´odigo 9.1. 132
9.2 Recorte do PDF gerado para a quest˜ao da equa¸c˜ao da reta definida no C´odigo 9.2. . . 134
9.3 Recorte do PDF gerado para a quest˜ao com resposta exata definida pelos C´odigos 9.3
e 9.4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
9.4 Recorte da tela do exame com as quatro quest˜oes marcadas. . . . . . . . . . . . . . . . 137
9.5 Recorte da tela do exame com os detalhes da configura¸c˜ao. . . . . . . . . . . . . . . . 137
9.6 Recorte da tela do exame com os detalhes da configura¸c˜ao. . . . . . . . . . . . . . . . 137
9.7 Recorte do e-mail recebido ap´os clicar em “Criar-Varia¸c˜oes”. . . . . . . . . . . . . . . 138
9.8 Exemplo de QM no Moodle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
9.9 Exemplo da quest˜ao exata do Moodle. . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
9.10 Exemplo exame gerado pelo MCTest. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
10.1 Recorte do PDF gerado para a quest˜ao de matriz definida nos C´odigos 10.1 e 10.2. . . 153
10.2 Recorte da tela de exame, configurando os detalhes do exame com integra¸c˜ao VPL. . . 154
10.3 Recorte do e-mail recebido ap´os clicar em “Criar-Varia¸c˜oes”. . . . . . . . . . . . . . . 154
10.4 Recorte da tela do PDF do exame com integra¸c˜ao VPL. . . . . . . . . . . . . . . . . . 155
11.1 Recorte do PDF com o QR utilizado no MCTest-1. . . . . . . . . . . . . . . . . . . . . 166
11.2 Demonstra¸c˜ao da captura a partir de um gabarito impresso. . . . . . . . . . . . . . . . 168
11.3 As quest˜oes marcadas na parte inferior indicam um valor ponderado atribu´ıdo a
quest˜ao, as maras `a direita representam diferentes gabaritos e a identifica¸c˜ao do gaba-
rito ´e a marca `a direita e abaixo. Fonte: China, Zampirolli, Neves e Quilici-Gonzalez
(2016). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
11.4 Estat´ısticas sobre o n´umero de respostas corretas em uma turma. Fonte: China,
Zampirolli, Neves e Quilici-Gonzalez (2016). . . . . . . . . . . . . . . . . . . . . . . . . 170
12.1 Estrutura de pastas do MCTest-4. Fonte: Zampirolli, Batista e Quilici-Gonzalez
(2016). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
12.2 Recorte de um exame gerado com MCTest-4.G. . . . . . . . . . . . . . . . . . . . . . . 175
12.3 Recorte do PDF gerado para a quest˜ao de MRU do C´odigo 12.1. . . . . . . . . . . . . 176
12.4 Recorte do PDF gerado para a quest˜ao para criar uma matriz do C´odigo 12.2. . . . . 178
12.5 Recorte do PDF gerado para a quest˜ao param´etrica com equa¸c˜ao e figura referente ao
C´odigo 12.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
12.6 Recorte do PDF gerado para a quest˜ao param´etrica com grafo e figura referente ao
C´odigo 12.4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
12.7 Recorte do PDF gerado para a quest˜ao param´etrica com matriz criada pelos C´odigos
12.6 e 12.7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
12.8 Planilha mostrando o question´ario preenchido de um estudante. Adaptado de Zampi-
rolli, Batista, Iriarte e Junior (2020). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
12.9 Exemplo de exame utilizado em C´alculo 1. Adaptado de Zampirolli, Batista, Iriarte
e Junior (2020). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Francisco de Assis Zampirolli MCTest xx
LISTA DE FIGURAS
12.10Visualiza¸c˜ao do arquivo CSV com as corre¸c˜oes. Adaptado de Zampirolli, Batista,
Rodriguez, Rocha e Goya (2021). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
12.11C´alculo final do exame. Adaptado de Zampirolli, Batista, Rodriguez, Rocha e Goya
(2021). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
13.1 (a) estrutura de arquivos e pastas; (b) recorte da estrutura de arquivos e pastas gerados
automaticamente, detalhando a pasta 1.py para Python. Fonte: Zampirolli, Teubl,
Kobayashi, Neves, Rozante e Batista (2021). . . . . . . . . . . . . . . . . . . . . . . . . 200
Francisco de Assis Zampirolli MCTest xxi
LISTA DE FIGURAS
Francisco de Assis Zampirolli MCTest xxii
Lista de C´odigos
5.1 Exemplo de m´etodo para calcular a ´area de um c´ırculo. . . . . . . . . . . . . . . . . . 66
5.2 Exemplo de QM param´etrica para calcular a ´area do c´ırculo. . . . . . . . . . . . . . . 70
5.3 Exemplo de QM param´etrica para calcular a ´area do c´ırculo, utilizando o m´etodo
createWrongAnswers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.4 Exemplo simples de descri¸c˜ao de QT param´etrica para teste de mesa. . . . . . . . . . 72
5.5 Exemplo pr´atico de teste de mesa param´etrico mostrando o gabarito – Parte 1: Des-
cri¸c˜ao de quest˜ao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.6 Exemplo pr´atico de teste de mesa param´etrico mostrando o gabarito – Parte 2: Bloco
de c´odigo em Python. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.7 Exemplo de uso de sys.settrace. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.8 Exemplo pr´atico de teste de mesa param´etrico utilizando sys.settrace – Parte 1:
Descri¸c˜ao de quest˜ao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.9 Exemplo pr´atico de teste de mesa param´etrico utilizando sys.settrace – Parte 2:
Bloco de c´odigo em Python. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.10 Programa em Python para c´alculo do fatorial. . . . . . . . . . . . . . . . . . . . . . . . 81
5.11 Programa em Python para c´alculo de parcelas. . . . . . . . . . . . . . . . . . . . . . . 83
5.12 Exemplo de QT param´etrica utilizando MCTest+Moodle+VPL – Parte 1: Descri¸c˜ao
de quest˜ao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.13 Exemplo de QT param´etrica utilizando MCTest+Moodle+VPL – Parte 2: Bloco de
c´odigo em Python. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
8.1 Exemplo de QT com resposta exata. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
9.1 Exemplo de QM param´etrica para calcular as idades dos irm˜aos. . . . . . . . . . . . . 133
9.2 Exemplo de QM param´etrica para calcular a equa¸c˜ao da reta. . . . . . . . . . . . . . . 134
9.3 Exemplo de quest˜ao param´etrica exata – Parte 1: Descri¸c˜ao de quest˜ao. . . . . . . . . 135
9.4 Exemplo de quest˜ao param´etrica exata – Parte 2: Bloco de c´odigo. . . . . . . . . . . . 136
10.1 Exemplo de quest˜ao com matriz utilizando MCTest+Moodle+VPL – Parte 1: Des-
cri¸c˜ao de quest˜ao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
10.2 Exemplo de quest˜ao com matriz utilizando MCTest+Moodle+VPL – Parte 2: Bloco
de c´odigo em Python. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
10.3 M´etodo mais gen´erico que matriz2texto para formatar uma matriz. . . . . . . . . . . 153
10.4 Exemplo de solu¸c˜ao para a quest˜ao de matriz do exame no VPL. . . . . . . . . . . . . 157
10.5 Exemplo de solu¸c˜ao compacta e gen´erica para a quest˜ao de matriz do exame no VPL. 158
xxiii
LISTA DE C
´
ODIGOS
12.1 Exemplo de QM param´etrica para calcular MRU. . . . . . . . . . . . . . . . . . . . . . 177
12.2 Exemplo de QM param´etrica para criar uma matriz. . . . . . . . . . . . . . . . . . . . 178
12.3 Quest˜ao param´etrica com equa¸c˜ao e figura. . . . . . . . . . . . . . . . . . . . . . . . . 181
12.4 QM param´etrica com grafo e figura. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
12.5 M´etodo para desenhar matriz. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
12.6 Quest˜ao param´etrica com matriz – Parte 1: Descri¸c˜ao de quest˜ao. . . . . . . . . . . . 186
12.7 Quest˜ao param´etrica com matriz – Parte 2: Bloco de c´odigo em Python. . . . . . . . . 187
Francisco de Assis Zampirolli MCTest xxiv
Lista de Abreviaturas e Siglas
ACM – Association for Computing Machinery
AVA – Ambiente Virtual de Aprendizagem
BCT – Bacharelado em Ciˆencia e Tecnologia
BCC – Bacharelado em Ciˆencia da Computa¸c˜ao
CMCC – Centro de Matem´atica, Computa¸c˜ao e Cogni¸c˜ao
CS1-2-3 Computer Science 1, 2 and 3 / cursos introdut´orios de computa¸c˜ao definidos pela ACM
EaD – Ensino a Distˆancia
EP – Exerc´ıcio de Programa¸c˜ao
EPUFABC – Escola Preparat´oria da UFABC
EdUFABC – Editora da UFABC
FAPESP – Funda¸c˜ao de Amparo `a Pesquisa do Estado de S˜ao Paulo
FEEC – Faculdade de Engenharia El´etrica e de Computa¸c˜ao
FTP – File Transfer Protocol / Protocolo de Transferˆencia de Arquivos
IDE – Integrated Development Environment / Ambiente de Desenvolvimento Integrado
IES – Institui¸c˜ao de Ensino Superior
IME – Instituto de Matem´atica e Estat´ıstica
INEP – Instituto Nacional de Estudos e Pesquisas Educacionais An´ısio Teixeira
INPI – Instituto Nacional de Propriedade Intelectual
MCTest – Multiple Choice Test / Teste de M´ultipla Escolha (nome inicial, mas inclui tamb´em QT)
MEC – Minist´erio da Educa¸c˜ao
Moodle – Modular Object-Oriented Dynamic Learning Environment / Ambiente de Aprendizagem
Dinˆamico Modular Orientado a Objeto (um exemplo de AVA)
xxv
LISTA DE C
´
ODIGOS
NETEL – N´ucleo Educacional de Tecnologias e L´ınguas
PROEC – Pr´o-Reitoria de Extens˜ao e Cultura
PROGRAD – Pr´o-Reitoria de Gradua¸c˜ao
PROPG – Pr´o-Reitoria de P´os-Gradua¸c˜ao
QM – Quest˜ao de M´ultipla Escolha
QT – Quest˜ao de Texto ou Dissertativa
QR – Quadro de Respostas (para as quest˜oes de m´ultipla escolha)
TCI – Teoria Cl´assica ao Item
TIC – Tecnologia da Informa¸c˜ao e Comunica¸c˜ao
TSI – Especializa¸c˜ao em Tecnologias e Sistemas de Informa¸c˜ao
TRI – Teoria de Resposta ao Item
UFABC – Universidade Federal do ABC
USP – Universidade de S˜ao Paulo
VPL – Virtual Programming Lab
Francisco de Assis Zampirolli MCTest xxvi
Cap´ıtulo 1
Introdu¸c˜ao
Conte´udo
1.1 Apresenta¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 M´etodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Breve hist´orico do MCTest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 MCTest no TSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 Vers˜oes do MCTest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.3 MCTest nos processos seletivos e exames de disciplinas do TSI . . . . . 5
1.2.4 MCTest na Escola Preparat´oria . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Direitos autorais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 Direitos autorais do software . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 Direitos autorais das quest˜oes dispon´ıveis no BD . . . . . . . . . . . . . 8
1.4 Instalando o MCTest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Organiza¸c˜ao do livro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1 Apresenta¸c˜ao
A avalia¸c˜ao dos estudantes ´e uma atividade crucial para o trabalho de um professor, ao
permitir avaliar de maneira precisa o desempenho dos estudantes ao longo do curso, fornecendo
feedback importante para o seu desenvolvimento acadˆemico. Al´em disso, a avalia¸c˜ao tamb´em ´e um
meio importante para aprimorar a pr´atica educativa, permitindo que os professores identifiquem
pontos fortes e fracos de sua metodologia e aprimorem sua abordagem pedag´ogica para proporcionar
um melhor aprendizado aos estudantes.
Avaliar in´umeros estudantes individualizadamente ´e uma tarefa desafiadora para professores
1
CAP
´
ITULO 1. INTRODUC¸
˜
AO
em todos os n´ıveis de ensino, especialmente em disciplinas que exigem habilidades e competˆencias
espec´ıficas. Esse desafio ´e ainda maior em exames que envolvem exerc´ıcios de programa¸c˜ao (EP),
uma vez que exigem uma avalia¸c˜ao minuciosa dos processos de resolu¸c˜ao de problemas, al´em da
compreens˜ao do c´odigo e da l´ogica utilizados pelos estudantes. Nesse sentido, ´e fundamental que
os professores tenham acesso a ferramentas e t´ecnicas que possam auxili´a-los nessa tarefa, como
sistemas de avalia¸c˜ao automatizados e a utiliza¸c˜ao de exerc´ıcios parametrizados. A ado¸c˜ao dessas
ferramentas permite uma avalia¸c˜ao mais eficiente das habilidades dos estudantes, garantindo que eles
tenham a oportunidade de demonstrar seu conhecimento e habilidades adequadamente.
1.1.1 Objetivo
Este livro visa disponibilizar uma solu¸c˜ao abrangente e eficaz para a avalia¸c˜ao de estudantes.
A abordagem colaborativa adotada permite que os professores reutilizem bancos de quest˜oes j´a
utilizados por outros colegas que lecionam na mesma disciplina, economizando tempo e esfor¸co na
cria¸c˜ao de avalia¸c˜oes personalizadas.
Essa metodologia pode ser aplicada tanto em exames unificados em v´arias turmas com milha-
res de estudantes, quanto em disciplinas com turmas menores ministradas por um ´unico professor.
1.1.2 M´etodo
Para ajudar professores a avaliar os estudantes, este livro apresenta o MCTest, um sistema
de c´odigo aberto que permite a elabora¸c˜ao e corre¸c˜ao de exames com quest˜oes de m´ultipla escolha
(QMs) ou dissertativas (QTs), incluindo EP. Esse sistema oferece quest˜oes parametrizadas e exames
individualizados, que podem ser utilizados por v´arias turmas simultaneamente. O MCTest foi inici-
almente desenvolvido para corrigir exames em processos seletivos para um curso de especializa¸c˜ao na
Universidade Federal do ABC (UFABC) em 2012, mas evoluiu significativamente para uma vers˜ao
inteiramente web.
O MCTest pode ser integrado a Ambientes Virtuais de Aprendizagem (AVAs), como o Mo-
odle, o qual ´e uma plataforma digital que oferece uma variedade de recursos e ferramentas para
melhorar o processo de ensino e aprendizagem. Os AVAs podem ser usados como um complemento
ou suporte `as aulas presenciais, ou como uma op¸c˜ao para o ensino a distˆancia (EaD). Eles oferecem
um espa¸co virtual no qual estudantes e professores podem interagir, acessar materiais did´aticos,
realizar atividades, participar de f´oruns de discuss˜ao e avalia¸c˜oes. Esses ambientes proporcionam
aos estudantes maior flexibilidade para acessar o conte´udo e realizar suas tarefas em hor´arios mais
convenientes, o que tamb´em permite uma maior personaliza¸c˜ao do processo de aprendizagem.
Assim, este livro ensina como criar exames individualizados, com quest˜oes parametrizadas,
intercalando textos em L
A
T
E
X e c´odigos em Python, e corre¸c˜ao autom´atica. Essas quest˜oes podem
incluir EPs utilizando o plugin VPL (Virtual Programming Lab) no Moodle. No entanto, antes de
elaborar esses EPs, ´e importante discutir como navegar pelo sistema utilizando um dos seus trˆes
tipos de usu´arios: administrador, coordenador de disciplina e professor. Mesmo um professor sem
habilidade de programa¸c˜ao pode utilizar o MCTest para criar exames com quest˜oes est´aticas, em
Francisco de Assis Zampirolli MCTest 2
1.2. BREVE HIST
´
ORICO DO MCTEST
que a ´unica varia¸c˜ao ´e o sorteio das quest˜oes e das alternativas. Cada tipo de usu´ario possui um
conjunto de funcionalidades para criar e alterar as diversas entidades do sistema, incluindo Instituto,
Curso, Disciplina, T´opico, Quest˜ao, Turma, Professor, Estudante e Exame.
O MCTest j´a foi implantado com sucesso na UFABC e serve como plataforma para os pro-
fessores e gestores da institui¸c˜ao. O leitor pode examinar a implanta¸c˜ao deste sistema em mc-
test.ufabc.edu.br para entender melhor como o sistema funciona e como pode ser utilizado para
aprimorar a avalia¸c˜ao de habilidades dos estudantes.
1.1.3 Resultados
O livro apresenta os resultados de dezenas de experimentos realizados ao longo dos ´ultimos 12
anos em disciplinas na UFABC. Os experimentos foram realizados em disciplinas como Bases Com-
putacionais da Ciˆencia, Processamento da Informa¸c˜ao, Programa¸c˜ao Estruturada, Processamento
Digital de Imagens e Vis˜ao Computacional, tanto nos Bacharelados em Ciˆencia e Tecnologia (BCT)
e Ciˆencia da Computa¸c˜ao (BCC), quanto na p´os-gradua¸c˜ao em Ciˆencia da Computa¸c˜ao. Al´em disso,
o livro tamb´em relata um experimento realizado na disciplina de Fun¸c˜oes de Uma Vari´avel (C´alculo)
no BCT, utilizando a biblioteca sympy.org para quest˜oes alg´ebricas.
Este livro apresenta os resultados de experimentos conduzidos em trˆes modalidades: h´ıbrida,
totalmente remota e totalmente presencial. Foram selecionados os melhores resultados obtidos por
meio de artigos e registros de software, os quais est˜ao dispon´ıveis para consulta em vision.ufabc.edu.br.
Os experimentos demonstram a efic´acia do m´etodo avaliativo utilizando o MCTest na avalia¸c˜ao de
disciplinas de computa¸c˜ao, bem como em processos seletivos gerais.
Com o sistema MCTest apresentado neste livro, os professores tˆem `a disposi¸c˜ao uma ferra-
menta poderosa para aprimorar a avalia¸c˜ao de habilidades e competˆencias dos estudantes em pro-
grama¸c˜ao. Ao utilizar o MCTest, os professores podem minimizar o esfor¸co de criar e corrigir exames
e EPs, permitindo que se dediquem a atividades de ensino menos repetitivas e mais significativas.
Al´em disso, o MCTest oferece uma avalia¸c˜ao mais eficiente, tornando o processo de avalia¸c˜ao
menos suscet´ıvel a erros humanos e mais preciso. Isso pode proporcionar uma experiˆencia de apren-
dizado mais satisfat´oria para os estudantes, que se sentir˜ao mais seguros e motivados a progredir em
suas habilidades.
1.2 Breve hist´orico do MCTest
Nesta se¸c˜ao, ser´a apresentado um breve hist´orico do MCTest. Essa ferramenta surgiu como
resposta `a necessidade do curso de Especializa¸c˜ao em Tecnologias e Sistemas de Informa¸c˜ao (TSI)
Lato Sensu da UFABC. Este curso foi pioneiramente oferecido pela universidade em 2010 (TSI-1).
Desde a sua segunda edi¸c˜ao (TSI-2), em 2012, o MCTest tem sido amplamente utilizado em diversos
processos seletivos e exames de disciplinas, desempenhando um papel fundamental tamb´em na Escola
Preparat´oria da UFABC (EPUFABC).
Ao longo deste livro, os experimentos realizados com o MCTest ser˜ao descritos em detalhes,
abrangendo diversos aspectos de seu uso e aplica¸c˜ao. Caso haja interesse em conhecer mais sobre o
Francisco de Assis Zampirolli MCTest 3
CAP
´
ITULO 1. INTRODUC¸
˜
AO
uso do MCTest em processos seletivos, exames de disciplinas ou na Escola Preparat´oria da UFABC,
basta consultar os cap´ıtulos espec´ıficos dedicados a esses temas.
1.2.1 MCTest no TSI
O curso TSI-1 estabeleceu uma parceria com o programa Universidade Aberta do Brasil,
vinculado ao Minist´erio da Educa¸c˜ao (UAB/MEC), e oferecido na modalidade de ensino a distˆancia
(EaD), com exames presenciais correspondendo a mais de 50% da nota de aprova¸c˜ao do estudante.
Em 2010, houve 1078 candidatos para as 200 vagas dispon´ıveis em quatro polos do estado de S˜ao
Paulo, com 16 tutores no total.
A segunda edi¸c˜ao do curso (TSI-2) iniciou em 2012, com 1171 inscritos distribu´ıdos em 4 polos,
contendo 50 estudantes em cada polo. No entanto, apenas 674 candidatos conclu´ıram o processo
seletivo (ZAMPIROLLI, 2013). Nesta edi¸c˜ao, foi desenvolvida a primeira vers˜ao do MCTest, como
ser´a detalhada na pr´oxima se¸c˜ao.
Na terceira oferta, em 2014 (TSI-3), foram 689 candidatos para 6 polos, com 300 estudantes
matriculados. No in´ıcio, houve 11 tutores, por´em, na fase do TCC, em 2015, o n´umero total de
tutores aumentou para 16.
A quarta edi¸c˜ao do curso (TSI-4) ocorreu em 2017, por´em sem as bolsas UAB para professores
e tutores. Como resultado, foram oferecidas apenas duas turmas, nos polos da UFABC em Santo
Andr´e (SA) e S˜ao Bernardo do Campo (SBC), com 25 estudantes em cada polo e sem a presen¸ca
de tutores. Apesar disso, a demanda permaneceu alta, com 863 inscritos para apenas 50 vagas
dispon´ıveis nessa edi¸c˜ao.
At´e a quarta edi¸c˜ao do TSI, a parte administrativa do curso era conduzida pela Pr´o-Reitoria
de Extens˜ao. Durante a fase de transi¸c˜ao dos cursos de especializa¸c˜ao para a Pr´o-Reitoria de P´os-
Gradua¸c˜ao, houve um intervalo maior entre as edi¸c˜oes do curso, que foi agravado pela pandemia
de COVID-19. Como resultado, somente no segundo semestre de 2022 foi poss´ıvel iniciar o TSI-5,
tamb´em sem as bolsas UAB, com apenas 25 estudantes em cada polo da UFABC em SA e SBC.
Nessa edi¸c˜ao, talvez devido `a pandemia, apenas 63 candidatos participaram do processo seletivo, em
contraste com a edi¸c˜ao anterior, que teve uma m´edia de 17,26 candidatos por vaga.
No in´ıcio de 2023, deu-se in´ıcio `a sexta edi¸c˜ao do TSI (TSI-6), que agora conta com o retorno
das bolsas UAB. Essa edi¸c˜ao est´a sendo conduzida em paralelo com a TSI-5 e conta com a colabora¸c˜ao
de 7 tutores. Ao todo, foram registrados 565 candidatos para os 6 polos do estado de S˜ao Paulo,
resultando em uma m´edia de 35 estudantes por polo.
1.2.2 Vers˜oes do MCTest
O MCTest ´e um projeto que evoluiu ao longo do tempo, e isso pode ser visto nas diferentes
vers˜oes registradas no Instituto Nacional de Propriedade Intelectual (INPI). Cada vers˜ao registra
uma evolu¸c˜ao do projeto em termos de tecnologia, metodologia e objetivos.
A primeira vers˜ao do MCTest (MCTest-1) foi registrada no INPI com o n´umero de registro
BR 51 2013 001231 7. Essa vers˜ao foi desenvolvida em Matlab para permitir a corre¸c˜ao autom´atica
Francisco de Assis Zampirolli MCTest 4
1.2. BREVE HIST
´
ORICO DO MCTEST
dos exames gerados em Word ou BROffice. O MCTest-1 foi utilizado nos processos seletivos do TSI
de 2012 at´e 2017, contribuindo significativamente para a avalia¸c˜ao das competˆencias cognitivas dos
candidatos.
Foi desenvolvida uma vers˜ao do MCTest denominada MCTest-2 em colabora¸c˜ao com um es-
tudante de Inicia¸c˜ao Cient´ıfica, e essa vers˜ao foi devidamente registrada no INPI sob o n´umero de
registro BR 51 2015 001444 7. Essa vers˜ao espec´ıfica, disponibilizada para dispositivos Android, pos-
sibilitou a corre¸c˜ao autom´atica dos exames gerados em Word ou BROffice (CHINA; ZAMPIROLLI,
2014; ZAMPIROLLI, 2015; CHINA, 2016).
A vers˜ao MCTest-3 foi desenvolvida em Python e registrada no INPI com o n´umero de registro
BR 51 2015 001445 5. Assim como as vers˜oes anteriores, essa vers˜ao tamb´em permitia a corre¸c˜ao
autom´atica de exames gerados em Word/BROffice.
J´a a vers˜ao MCTest-4, registrada no INPI com o n´umero de registro BR 51 2016 001344 3,
foi desenvolvida em Python e tamb´em permitia a corre¸c˜ao autom´atica dos exames. No entanto, os
exames foram digitalizados e enviados por FTP para o servidor vision.ufabc.edu.br, com os exames
gerados pela vers˜ao MCTest-4.G (ZAMPIROLLI, 2016). Essa vers˜ao representou um avan¸co signi-
ficativo em rela¸c˜ao `as anteriores, ao permitir o envio remoto dos exames digitalizados e a corre¸c˜ao
autom´atica, simplificando o processo de avalia¸c˜ao dos candidatos. Essa vers˜ao est´a disponibilizada
em github.com/fzampirolli/mctest4 (ZAMPIROLLI, 2016).
Posteriormente, entre maio e agosto de 2018, foi desenvolvida e lan¸cada a vers˜ao atual do
MCTest, a MCTest-5.2. Essa vers˜ao apresentou grandes mudan¸cas, sendo disponibilizada em p´aginas
web e desenvolvida em Python com IDE Django, permitindo a gera¸c˜ao e corre¸c˜ao autom´atica de
exames. A MCTest-5.2 est´a dispon´ıvel em github.com/fzampirolli/mctest, com os exames gerados
em L
A
T
E
X e usando o banco de dados MySQL. Desde o seu lan¸camento, essa nova vers˜ao gerou
diversas publica¸c˜oes, a partir de 2018, que podem ser acessadas atrav´es do site vision.ufabc.edu.br.
A grande contribui¸c˜ao do MCTest ao estado da arte em exames avaliativos e formativos est´a
na possibilidade de criar quest˜oes parametrizadas, intercalando descri¸c˜oes em L
A
T
E
X com c´odigos em
Python, dispon´ıvel a partir da vers˜ao MCTest-4.G. Os exames gerados com essas quest˜oes podem
ter a corre¸c˜ao autom´atica com:
1. Exames digitalizados e enviados para o MCTest;
2. Se forem quest˜oes de exerc´ıcios de programa¸c˜ao (EPs), com respostas dadas em c´odigo em
alguma linguagem de programa¸c˜ao, o MCTest gera um arquivo com os casos de teste e outro
com a varia¸c˜ao de cada estudante. Esses arquivos devem ser inseridos em atividades VPL no
Moodle para a corre¸c˜ao autom´atica;
3. Outra possibilidade ´e o MCTest exportar um banco de quest˜oes em formato Aiken ou XML,
que podem ser importados pelo Moodle para criar exames.
O Moodle tamb´em aceita quest˜oes param´etricas, mas s˜ao limitadas ao conjunto de fun¸c˜oes
do PHP, como relatado no artigo de Zampirolli, Batista, Pimentel e Braga (2021).
Francisco de Assis Zampirolli MCTest 5
CAP
´
ITULO 1. INTRODUC¸
˜
AO
1.2.3 MCTest nos processos seletivos e exames de disciplinas do TSI
Desde 2012, todos os processos seletivos do TSI tˆem sido realizados com o uso do MCTest.
At´e a vers˜ao MCTest-4, os exames eram criados em editores de texto, como Word ou BROffice.
A partir da vers˜ao MCTest-4G, no entanto, os exames come¸caram a ser criados diretamente pelo
sistema.
Al´em disso, os professores da disciplina de Processamento de Informa¸c˜ao (CS1) do Bachare-
lado em Ciˆencia e Tecnologia da UFABC, na modalidade semipresencial, viram a oportunidade de
utilizar o sistema em quest˜oes contendo EP, como relatado no artigo de Zampirolli, Goya, Pimentel
e Kobayashi (2018). Com o passar do tempo, v´arias outras turmas e professores tamb´em come¸caram
a utilizar o sistema e a sugerir melhorias.
Desde 2012, todas as 13 disciplinas do TSI tiveram seus exames presenciais corrigidos com
o aux´ılio do MCTest. A partir de 2017, os exames tamb´em passaram a ser gerados pelo sistema,
sendo reaproveitados em cada nova oferta, com pequenas modifica¸c˜oes. Essa mudan¸ca representou
uma significativa melhoria na eficiˆencia e rapidez do processo de avalia¸c˜ao, al´em de permitir a
personaliza¸c˜ao e adapta¸c˜ao dos exames para cada nova oferta.
1.2.4 MCTest na Escola Preparat´oria
A UFABC oferece gratuitamente `a comunidade da regi˜ao do ABC um curso preparat´orio para
vestibulares chamado Escola Preparat´oria da UFABC (EPUFABC). Desde 2017, o MCTest tem sido
um importante aliado no processo seletivo dos candidatos da EPUFABC. Esses processos atraem
milhares de candidatos para as cerca de 300 vagas dispon´ıveis anualmente.
Para viabilizar esse processo, foi empregado o MCTest para gerar o quadro de respostas (QR)
dos candidatos, enquanto as QMs foram impressas separadamente. O uso do MCTest mostrou-se
fundamental para agilizar e simplificar o processo seletivo, permitindo a corre¸c˜ao autom´atica dos
exames e a r´apida gera¸c˜ao do resultado. Al´em disso, a precis˜ao e confiabilidade do sistema garantiram
uma avalia¸c˜ao sem erros dos candidatos, contribuindo para a excelˆencia acadˆemica da UFABC e o
sucesso dos estudantes matriculados na EPUFABC.
Essa parceria permitiu o desenvolvimento de mais um sistema (ENEM Interativo) e a pu-
blica¸c˜ao de dois artigos, os quais ser˜ao resumidos a seguir e detalhados na Parte IV de experimentos.
ENEM Interativo
Em colabora¸c˜ao com a EPUFABC, foi desenvolvido um sistema interativo denominado ENEM
interativo, permitindo que os estudantes utilizem exames antigos do ENEM e os microdados dispo-
nibilizados pelo INEP para estudo. Nesse sistema, os exames em formato PDF s˜ao convertidos para
HTML, e bot˜oes de resposta s˜ao inclu´ıdos para cada quest˜ao. Ao t´ermino de cada exame, o bot˜ao de
estat´ısticas abre uma nova p´agina contendo dados do gabarito, respostas dos estudantes, habilidades
(valores fornecidos pelo INEP) e gr´aficos.
Esses gr´aficos mostram a Curva Caracter´ıstica do Item (CCI) da Teoria de Resposta ao Item
(TRI) (BIRNBAUM, 1968), sendo calculada a partir dos parˆametros da amostra aleat´oria de 10.000
Francisco de Assis Zampirolli MCTest 6
1.3. DIREITOS AUTORAIS
estudantes, incluindo a discrimina¸c˜ao (a), habilidade (b) e chute (c). Os valores m´edios e o desvio
padr˜ao da amostra tamb´em s˜ao calculados, permitindo uma melhor compreens˜ao da distribui¸c˜ao dos
resultados.
Outro gr´afico gerado ´e o BoxPlot (JW, 1977), juntamente com o ViolinPlot (HINTZE; NEL-
SON, 1998), para visualizar as frequˆencias de acertos (valor 1) e erros (valor 0) de forma mais clara
e precisa.
´
E importante ressaltar que esses gr´aficos est˜ao dispon´ıveis apenas para exames com respostas
de mais de 10.000 estudantes. Essa ferramenta tem sido uma contribui¸c˜ao para o processo de
prepara¸c˜ao dos estudantes para o ENEM, fornecendo informa¸c˜oes valiosas sobre o desempenho dos
estudantes e as tendˆencias de cada quest˜ao ao longo do tempo (ZAMPIROLLI, 2021).
Compara¸c˜oes de trˆes m´etodos de sele¸c˜ao
Foi realizado um estudo comparativo entre trˆes m´etodos de sele¸c˜ao de candidatos para a
EPUFABC: 1) o uso do MCTest com exames presenciais, aplicando a Teoria Cl´assica ao Item (TCI);
2) o uso do Moodle durante a pandemia de COVID-19, com a realiza¸c˜ao dos exames a distˆancia,
tamb´em utilizando a TCI; e 3) o uso do MCTest com exames presenciais, empregando a TRI.
Os resultados obtidos indicaram que, ao adotar a TRI, as chances de empate entre candi-
datos foram consideravelmente reduzidas. Adicionalmente, foi constatado que a correla¸c˜ao entre as
classifica¸c˜oes obtidas pelos m´etodos TCI e TRI ´e alta, evidenciando coerˆencia entre os dois m´etodos
de pontua¸c˜ao (ZAMPIROLLI, 2021).
1.3 Direitos autorais
Nesta se¸c˜ao, ser˜ao abordados os direitos autorais do software e das quest˜oes criadas pelos
professores e disponibilizadas no banco de dados do MCTest.
1.3.1 Direitos autorais do software
At´e a primeira edi¸c˜ao deste livro, o MCTest foi desenvolvido integralmente pelo Prof. Fran-
cisco de Assis Zampirolli, da Universidade Federal do ABC (UFABC), visando atender `as demandas
da institui¸c˜ao na avalia¸c˜ao de in´umeros estudantes e candidatos de processos seletivos. O sistema
contou com a valiosa colabora¸c˜ao de colegas da UFABC, que compartilharam suas necessidades em
rela¸c˜ao `as avalia¸c˜oes. No entanto, ´e crucial ressaltar que o MCTest n˜ao ´e um produto comercial e,
infelizmente, n˜ao segue rigorosamente o ciclo de vida de desenvolvimento de software.
Trata-se de um sistema constru´ıdo inspirado no modelo de prototipagem de Engenharia de
Software. Para vir a se tornar um produto comercial, seria necess´ario submetˆe-lo a uma engenharia
reversa e aprimor´a-lo, sobretudo no que concerne `a navegabilidade entre as telas e `a adi¸c˜ao de mais
funcionalidades de gest˜ao de processos.
Mesmo com as limita¸c˜oes mencionadas anteriormente, o MCTest est´a em produ¸c˜ao na UFABC
e ´e utilizado por professores e gestores para avaliar milhares de estudantes e candidatos, reduzindo
significativamente a parte repetitiva dos processos de avalia¸c˜ao.
Francisco de Assis Zampirolli MCTest 7
CAP
´
ITULO 1. INTRODUC¸
˜
AO
O MCTest possui c´odigo aberto e est´a dispon´ıvel no GitHub, podendo ser usado e modificado
sob a licen¸ca AGNU. Isso implica que todos tˆem a liberdade de utilizar o sistema. Para manter o
MCTest atualizado, melhorias feitas por terceiros e implementadas em seus servidores tamb´em devem
ser compartilhadas com o p´ublico. Essa licen¸ca pode ser encontrada na implanta¸c˜ao na UFABC em
mctest.ufabc.edu.br/license e tamb´em est´a apresentada a seguir:
Licen¸ca:
Copyright (C) 2018-2023 Francisco de Assis Zampirolli from Federal University of ABC and
individual contributors. All rights reserved. This file is part of MCTest 5.2. Languages:
Python, Django, and many libraries described at github.com/fzampirolli/mctest.
You should cite some references included in vision.ufabc.edu.br in any publication about
it.
MCTest is free software: you can redistribute it and/or modify it under the terms of
the GNU Affero General Public License (gnu.org/licenses/agpl-3.0.txt) as published by the
Free Software Foundation, either version 3 of the License or (at your option) any later version.
MCTest is distributed in the hope that it will be useful, but WITHOUT ANY WAR-
RANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A
PARTICULAR PURPOSE. See the GNU General Public License for more details.
1.3.2 Direitos autorais das quest˜oes dispon´ıveis no BD
Outro ponto muito importante a respeito dos direitos autorais refere-se `as quest˜oes elabo-
radas no MCTest e armazenadas em seu banco de dados (BD). A filosofia do MCTest ´e trabalhar
colaborativamente para produzir e utilizar material did´atico em avalia¸c˜oes. Dessa forma, as quest˜oes
elaboradas por um professor em uma disciplina da UFABC est˜ao dispon´ıveis para os demais profes-
sores desta disciplina, para uso exclusivo em suas avalia¸c˜oes nesta universidade.
Cada institui¸c˜ao pode definir seus pr´oprios crit´erios de direito autoral para o conte´udo dispo-
nibilizado no BD do MCTest.
´
E importante ressaltar que o direito autoral do software apresentado na
se¸c˜ao anterior n˜ao cobre essa parte. Portanto, cabe a cada institui¸c˜ao definir seus pr´oprios crit´erios
em suas implanta¸c˜oes do MCTest.
A seguir, ser´a apresentado o que foi definido para os professores da UFABC que optaram por
utilizar o sistema na implanta¸c˜ao disponibilizada em mctest.ufabc.edu.br/According.
Francisco de Assis Zampirolli MCTest 8
1.4. INSTALANDO O MCTEST
De Acordo:
O MCTest (dispon´ıvel gratuitamente no GitHub) foi implantado no servidor da UFABC:
mctest.ufabc.edu.br.
Na UFABC, o MCTest ´e um servi¸co colaborativo para gera¸c˜ao e corre¸c˜ao autom´atica
de atividades de forma¸c˜ao (como Listas de Exerc´ıcios) e de avalia¸c˜ao (como Testes ou
Exames).
Esse servi¸co est´a dispon´ıvel gratuitamente para todos os docentes da UFABC.
Para poder utilizar o MCTest, o professor deve inscrever-se na plataforma e ser cadas-
trado em alguma disciplina pelo seu coordenador.
Todo o material intelectual (aulas, v´ıdeos, quest˜oes, etc.) dispon´ıvel neste site est´a
protegido pelo direito autoral dos seus respectivos autores e, em ´ultima instˆancia, ´e proprie-
dade da UFABC. Os autores propriet´arios do material disponibilizado no site concordam em
liberar o seu uso sem restri¸c˜oes pelos professores da institui¸c˜ao a qual est´a vinculado somente
no ˆambito das disciplinas e cursos desta institui¸c˜ao. Al´em disso, quando me inscrevo neste
servi¸co, nesta institui¸c˜ao, CONCORDO que:
• Posso utilizar livremente em meus exames todas as quest˜oes dispon´ıveis j´a cadastradas
na disciplina;
• N˜ao posso publicar quest˜oes criadas por outros professores em quaisquer outras m´ıdias,
como, por exemplo, livros e artigos;
• Todas as novas quest˜oes que eu criar podem ser reaproveitadas em exames elaborados
por outros professores da mesma disciplina, sem pr´evio aviso;
• S´o posso mudar as quest˜oes dos outros professores SOMENTE SE HOUVER ALGUM
ERRO. Por´em, sem alterar a autoria da quest˜ao.
1.4 Instalando o MCTest
O MCTest pode ser instalado localmente no computador pessoal utilizando a m´aquina virtual
VirtualBox. Em seguida, ´e necess´ario baixar uma das seguintes vers˜oes do Linux: Ubuntu 20.04 ou
22.04, ou ainda a distribui¸c˜ao Mint 21 Mate. Essas distribui¸c˜oes j´a foram testadas, mas o MCTest
pode funcionar em outras tamb´em.
Ap´os instalar o Linux na m´aquina virtual ou utiliz´a-lo diretamente em uma instala¸c˜ao Li-
nux, sem a m´aquina virtual, basta fazer o download do arquivo setup-all.sh, dispon´ıvel no
Francisco de Assis Zampirolli MCTest 9
CAP
´
ITULO 1. INTRODUC¸
˜
AO
endere¸co github.com/fzampirolli/mctest do GitHub, e execut´a-lo em um terminal com privil´egios
de superusu´ario (sudo su). Em seguida, execute o comando source _setup-all.sh. Com isso,
ap´os aproximadamente 10 minutos, o MCTest ser´a aberto em uma aba do navegador, instalando
um banco de dados com apenas trˆes usu´arios de teste, dispon´ıvel no arquivo mctest.sql. Se o lei-
tor quiser instalar a vers˜ao com todos os exemplos utilizados neste livro, basta instalar o arquivo
book/1ed-br/mctestLivro.sql, no endere¸co github.com/fzampirolli/mctest. Para mais detalhes,
consulte o conte´udo do arquivo setup-all.sh.
1.5 Organiza¸c˜ao do livro
Este livro foi elaborado para fornecer um guia completo e abrangente sobre o MCTest, uma
plataforma de avalia¸c˜ao e gerenciamento de aprendizado. O conte´udo est´a organizado em quatro
partes, cada uma focada em um aspecto diferente do MCTest, desde os fundamentos at´e experimentos
e aplica¸c˜oes pr´aticas, conforme apresentado na Figura 1.1 e resumido a seguir:
Figura 1.1: Organiza¸c˜ao do livro.
Parte I – Fundamentos do MCTest: apresenta a introdu¸c˜ao ao MCTest, seus componentes b´asi-
cos e funcionalidades essenciais. Esta parte inclui o Cap´ıtulo 2 – Vis˜ao geral do MCTest e o
Cap´ıtulo 3 – Recursos avan¸cados, que abordam a vis˜ao geral do sistema, navega¸c˜ao, usu´arios e
os m´etodos b´asicos de opera¸c˜ao (CRUD – Create, Read, Update, Delete). As se¸c˜oes s˜ao dedica-
das `a manuten¸c˜ao de diferentes ´areas do sistema por usu´arios administradores, coordenadores
e professores.
Francisco de Assis Zampirolli MCTest 10
1.5. ORGANIZAC¸
˜
AO DO LIVRO
Parte II – Quest˜oes no MCTest: trata de diferentes tipos de quest˜oes dispon´ıveis no MCTest,
como quest˜oes est´aticas e param´etricas. Os Cap´ıtulos 4 – Quest˜oes est´aticas e 5 – Quest˜oes
param´etricas discutem quest˜oes de m´ultipla escolha (QMs), quest˜oes dissertativas ou de texto
(QTs) e QTs com c´odigo.
Parte III – Exames no MCTest: aborda o processo de cria¸c˜ao e gerenciamento de exames no
MCTest, com uma vis˜ao geral no Cap´ıtulo 6 – Vis˜ao geral dos exames. Os Cap´ıtulos 7 –
Exames com Quadro de Respostas (QR), 8 – Exames com QR+QM e/ou QT, 9 – Varia¸c˜oes de
exames com QM+QT para o Moodle e 10 – Exames com MCTest+Moodle+VPL exploram o
quadro de respostas (QR) e a integra¸c˜ao com quest˜oes de m´ultipla escolha (QMs) e/ou quest˜oes
dissertativas (QTs), al´em da combina¸c˜ao do MCTest com Moodle e VPL para exames.
Parte IV – Experimentos de Uso do MCTest: apresenta estudos de caso e exemplos pr´aticos
do uso do MCTest em ambientes educacionais. Os Cap´ıtulos 11 – MCTest vers˜oes 1, 2 e 3 -
Quadro de Respostas (QR), 12 – MCTest vers˜oes 4, 4.G e 5 e 13 – MCTest+Moodle+VPL
apresentam diferentes cen´arios envolvendo o quadro de respostas (QR), quest˜oes de m´ultipla
escolha (QMs) e/ou quest˜oes dissertativas (QTs) e a integra¸c˜ao do MCTest com Moodle e VPL.
O livro ´e finalizado com o Cap´ıtulo 14 – Conclus˜oes, que resume as principais ideias apresen-
tadas ao longo do texto e oferece orienta¸c˜oes para futuras pesquisas e desenvolvimentos do MCTest
pela comunidade, visto que se trata de um sistema de c´odigo aberto. Esse cap´ıtulo ´e especialmente
valioso para aqueles que desejam se aprofundar no tema e contribuir para o desenvolvimento cont´ınuo
do MCTest, seja por meio de pesquisas adicionais ou pela implementa¸c˜ao de novas funcionalidades.
Leitores interessados em utilizar o sistema exclusivamente para a elabora¸c˜ao e avalia¸c˜ao de exames
que contenham apenas os QRs (as QMs ser˜ao apresentadas separadamente) devem seguir os cap´ıtulos
indicados pelas setas tracejadas na Figura 1.1.
Francisco de Assis Zampirolli MCTest 11
CAP
´
ITULO 1. INTRODUC¸
˜
AO
Francisco de Assis Zampirolli MCTest 12
Francisco de Assis Zampirolli MCTest 14
Cap´ıtulo 2
Vis˜ao geral do MCTest
Conte´udo
2.1 Navega¸c˜ao geral e usu´arios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Criar entidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1 Instituto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2 Curso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.3 Disciplina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.4 Turma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.5 T´opico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
O MCTest ´e um sistema, gratuito, de c´odigo aberto e em desenvolvimento, cujo objetivo ´e
fornecer e gerenciar um banco de dados para avalia¸c˜oes de estudantes em um sistema de ensino. O
foco principal do sistema ´e fornecer quest˜oes que possam ser utilizadas em atividades de ensino, al´em
de oferecer gera¸c˜ao e corre¸c˜ao autom´atica de atividades e exames. Com o MCTest, os educadores
ter˜ao acesso a uma ferramenta poderosa para avaliar o progresso dos estudantes, aprimorar o processo
de ensino e fornecer feedback de forma r´apida.
O MCTest representa uma importante contribui¸c˜ao ao estado da arte em Tecnologia da In-
forma¸c˜ao e Comunica¸c˜ao (TIC) ao fornecer m´etodos para a constru¸c˜ao e corre¸c˜ao automatizada de
quest˜oes parametrizadas de m´ultipla escolha (QMs) e dissertativas (QTs). O sistema utiliza diferentes
bibliotecas da linguagem de programa¸c˜ao Python para calcular parˆametros na descri¸c˜ao e nas alter-
nativas das quest˜oes de forma autom´atica. Para mais detalhes, ´e poss´ıvel consultar as publica¸c˜oes
dispon´ıveis em vision.ufabc.edu.br, algumas delas tamb´em ser˜ao apresentadas nos cap´ıtulos da Parte
IV. Al´em disso, o MCTest tamb´em suporta QTs que podem incluir exerc´ıcios de programa¸c˜ao (EP)
ou qualquer outro tipo de resposta.
O MCTest possui um ambiente de produ¸c˜ao dispon´ıvel em mctest.ufabc.edu.br, atualmente
15
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
utilizado por diversos professores e setores na Universidade Federal do ABC (UFABC). Por exemplo,
a Escola Preparat´oria (EPUFABC) utiliza o sistema no processo seletivo anual de aproximadamente
3000 candidatos anualmente. Isso demonstra a efic´acia e a confiabilidade do MCTest como uma
ferramenta de avalia¸c˜ao em larga escala.
O MCTest est´a dispon´ıvel gratuitamente no GitHub, permitindo que outras institui¸c˜oes pos-
sam copiar, personalizar e instalar o sistema em seus pr´oprios servidores de forma livre e flex´ıvel.
Al´em disso, h´a diversas possibilidades de melhoria e trabalhos futuros para o MCTest, as quais podem
ser exploradas seguindo a filosofia de c´odigo aberto, como definido no Copyright © 2018–2023 do
sistema. Para mais informa¸c˜oes sobre as possibilidades de melhoria do MCTest, ´e poss´ıvel consultar
o link mctest.ufabc.edu.br/readme.
2.1 Navega¸c˜ao geral e usu´arios
A navega¸c˜ao geral do MCTest visa possibilitar a cria¸c˜ao e manuten¸c˜ao das entidades principais
do sistema, que incluem instituto, curso, disciplina, turma, exame, t´opico e quest˜ao. Os usu´arios do
sistema s˜ao categorizados em trˆes perfis: professor, coordenador e administrador. No entanto, na
Figura 2.1, quando nenhum usu´ario est´a logado no sistema, um usu´ario da web pode visualizar os
conte´udos p´ublicos de institutos, cursos e disciplinas, bem como se inscrever ou entrar no sistema.
Para uma compara¸c˜ao das funcionalidades de cada perfil de usu´ario, consulte tamb´em a Figura 2.2.
Observa¸c˜ao:
As figuras apresentadas neste livro correspondem `a implanta¸c˜ao do MCTest em uma m´aquina
local, utilizando um banco de dados de exemplo dispon´ıvel no GitHub, com um n´umero limi-
tado de entidades cadastradas. Para ver um exemplo com um banco de dados mais completo,
visite o site mctest.ufabc.edu.br. Para adiantar, o leitor pode instalar uma m´aquina virtual
utilizando o VirtualBox e, em seguida, fazer o download de um sistema operacional supor-
tado, conforme explicado no arquivo setup-all.sh. Basta seguir as instru¸c˜oes fornecidas
nesse arquivo para concluir a instala¸c˜ao, incluindo a instala¸c˜ao das bibliotecas necess´arias.
´
E
importante notar que o processo de instala¸c˜ao do pacote L
A
T
E
X pode levar mais de 10 minutos.
Para mais detalhes, ver Se¸c˜ao 1.4 – Instalando o MCTest.
Atualmente, al´em do administrador, o sistema est´a dispon´ıvel apenas para usu´arios do tipo
professor, que podem tamb´em ser coordenadores de disciplina com permiss˜ao para incluir professores
e t´opicos. O perfil de coordenador ´e adicionado pelo administrador do sistema ao associ´a-lo a uma
disciplina espec´ıfica. Cabe ao administrador tamb´em a responsabilidade de manter a p´agina do
Django.
No MCTest, cada tipo de usu´ario possui acesso restrito a um conjunto espec´ıfico de entidades,
como ilustrado na Figura 2.2.
´
E importante ressaltar que os itens (c) e (d) s˜ao idˆenticos para
professores e coordenadores. Por exemplo, ambos podem visualizar todas as turmas, t´opicos e
quest˜oes das disciplinas em que est˜ao inscritos, mas somente o coordenador pode realizar altera¸c˜oes
em t´opicos de disciplinas que coordena. Al´em disso, os menus `a esquerda s˜ao gerais para todo o
Francisco de Assis Zampirolli MCTest 16
2.1. NAVEGAC¸
˜
AO GERAL E USU
´
ARIOS
Figura 2.1: Tela principal do MCTest.
conte´udo ao qual o usu´ario tem acesso, enquanto `a direita s˜ao apresentados apenas os conte´udos de
quest˜oes, turmas e exames que o usu´ario criou.
Francisco de Assis Zampirolli MCTest 17
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
(a) Navega¸c˜ao sem estar logado
(b) Navega¸c˜ao para um usu´ario cadastrado sem perfil
(c) Navega¸c˜ao para um usu´ario com perfil de professor
(d) Navega¸c˜ao para um usu´ario com perfil de coordenador
(e) Navega¸c˜ao para um usu´ario com perfil de administrador
Figura 2.2: Recorte do menu de navega¸c˜ao principal do MCTest.
O MCTest tamb´em permite que um professor coordenador de disciplina adicione v´arios pro-
fessores a uma disciplina por um arquivo CSV, sendo automaticamente cadastrado no sistema como
perfil de professor (esse processo ser´a exemplificado no pr´oximo cap´ıtulo). Com isso, os professores
inclu´ıdos na disciplina tˆem acesso somente `as funcionalidades do sistema que s˜ao relevantes ao seu
perfil.
Destaque:
Para enfatizar um ponto espec´ıfico no que se refere ao registro de professores, ´e de extrema
relevˆancia ressaltar que, quando um professor efetua seu cadastro de forma independente, ele
n˜ao ´e automaticamente inclu´ıdo no grupo de professores. Nessa situa¸c˜ao, torna-se imperativo
que um administrador intervenha a fim de efetuar essa inclus˜ao, por meio do acesso `a aba
“Admin”, conforme ilustrado na Figura 2.2-(e).
Antes de demonstrar como criar entidades no sistema, ´e importante cadastrar-se na plata-
forma, clicando na op¸c˜ao “Inscrever”, conforme indicado na Figura 2.2 e exemplificado na Figura
2.3.
´
E necess´ario ressaltar que somente os professores podem se inscrever neste servi¸co e devem
utilizar o e-mail institucional fornecido pela institui¸c˜ao durante o cadastro. Por exemplo, o endere¸co
user@ufabc.edu.br ´e v´alido, enquanto user@aluno.ufabc.edu.br ´e inv´alido. O e-mail deve conter
a URL da institui¸c˜ao (por exemplo, @ufabc.edu.br). Tais restri¸c˜oes s˜ao cruciais para garantir a va-
lidade e a seguran¸ca das informa¸c˜oes associadas `as institui¸c˜oes cadastradas no sistema. Finalmente,
o bot˜ao “De Acordo”, apresentado na Figura 2.3, foi detalhado na Se¸c˜ao 1.3.2 – Direitos autorais
das quest˜oes dispon´ıveis no BD.
Francisco de Assis Zampirolli MCTest 18
2.2. CRIAR ENTIDADES
Melhorias:
•
´
E importante ressaltar que ainda n˜ao foi implementada a funcionalidade de seguran¸ca
para validar o e-mail durante o processo de inscri¸c˜ao. Ser´a necess´ario implementar
essa funcionalidade para garantir a integridade e a seguran¸ca dos dados cadastrados no
sistema.
• Outra melhoria importante para a seguran¸ca do sistema ´e a utiliza¸c˜ao de um certificado
digital, que permitir´a a utiliza¸c˜ao do protocolo HTTPS em vez de HTTP nos servidores
utilizados para a implanta¸c˜ao do MCTest. O HTTPS criptografa a comunica¸c˜ao entre
o navegador do usu´ario e o servidor, garantindo a confidencialidade e a integridade dos
dados transmitidos.
Figura 2.3: Tela para a inscri¸c˜ao do usu´ario.
2.2 Criar entidades
O MCTest ´e um sistema que gerencia diversas entidades em um banco de dados MySQL,
como detalhado neste e no pr´oximo cap´ıtulo. Essas entidades s˜ao criadas e relacionadas para mo-
delar o dom´ınio educacional com foco na avalia¸c˜ao dos estudantes. Al´em disso, o sistema oferece
funcionalidades para o cadastro, altera¸c˜ao, remo¸c˜ao e consulta dessas entidades e seus relacionamen-
tos.
Francisco de Assis Zampirolli MCTest 19
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Nesta se¸c˜ao, vocˆe encontrar´a a descri¸c˜ao das principais entidades de neg´ocio de um sistema
educacional que tem como foco as avalia¸c˜oes.
´
E importante ressaltar que, embora as entidades,
quest˜ao e exame sejam de extrema importˆancia no contexto do MCTest, elas ser˜ao abordadas em
cap´ıtulos espec´ıficos para uma exposi¸c˜ao mais detalhada e aprofundada.
2.2.1 Instituto
A entidade instituto representa a institui¸c˜ao cadastrada no sistema e cont´em atributos como
nome, c´odigo, logo, site, entre outros. A cria¸c˜ao de uma entidade instituto ´e restrita ao usu´ario com
perfil de administrador.
Na Figura 2.4, ao clicar em “Criar um novo Instituto”, uma tela ser´a aberta para cadastrar
informa¸c˜oes sobre o instituto, conforme ilustrado na Figura 2.5. Ao clicar em um instituto existente
na coluna “C´odigo” ou “Nome” da Figura 2.4, o usu´ario ser´a direcionado para uma tela para visualizar
as informa¸c˜oes do instituto, conforme ilustrado na Figura 2.6.
´
E importante observar que nesta tela
tamb´em ´e apresentada a lista de cursos, que ser´a detalhada na pr´oxima se¸c˜ao.
Ao clicar no bot˜ao “Atualizar” em um instituto existente na coluna “A¸c˜oes” da Figura 2.4, o
usu´ario ser´a direcionado para uma nova tela para atualiz´a-lo, semelhante `a Figura 2.5. Se o usu´ario
clicar em “Apagar”, o instituto ser´a removido do banco de dados, ap´os confirma¸c˜ao na janela de
di´alogo apresentada na Figura 2.7.
A Figura 2.5 apresenta o recorte da tela para “Criar de um novo Instituto”, que ´e similar `a de
“Atualizar um Instituto”. Os trˆes ´ultimos campos exibidos na tela s˜ao utilizados para contabilizar
o n´umero de exames e quest˜oes gerados e corrigidos pelo sistema desde a cria¸c˜ao do instituto. Esses
contadores s˜ao ´uteis para monitorar a atividade do sistema em rela¸c˜ao a cada instituto.
´
E importante
ressaltar que apenas o administrador pode zerar esses contadores a qualquer momento, o que pode
ser necess´ario em algumas circunstˆancias, como quando ´e necess´ario reiniciar as contagens ou avaliar
a atividade recente do sistema.
Observa¸c˜ao:
As telas e as a¸c˜oes de criar, ler, atualizar e remover (CRUD – Create, Read, Update, Delete)
para fazer a manuten¸c˜ao do instituto s˜ao semelhantes, em geral, `as demais entidades do
MCTest. Portanto, a partir deste ponto, ser˜ao apresentadas apenas as telas com informa¸c˜oes
diferentes, para o usu´ario poder se concentrar nas especificidades da manuten¸c˜ao das entidades
do sistema. Al´em disso, os nomes dessas entidades nessas telas devem seguir o formato L
A
T
E
X.
2.2.2 Curso
A cria¸c˜ao da entidade curso ´e restrita ao usu´ario com perfil de administrador, como ilustrado
na Figura 2.8, que tamb´em pode atualizar ou apagar um curso existente, conforme apresentado na
coluna “A¸c˜oes” (outros tipos de usu´arios n˜ao tˆem acesso a esses bot˜oes).
´
E importante destacar que
um curso pode pertencer a um ou v´arios institutos, permitindo assim a organiza¸c˜ao dos cursos de
acordo com sua ´area de atua¸c˜ao ou afinidade tem´atica.
Francisco de Assis Zampirolli MCTest 20
2.2. CRIAR ENTIDADES
Figura 2.4: Tela para administrador atualizar, apagar ou criar um instituto.
Figura 2.5: Tela para o administrador criar um instituto.
Francisco de Assis Zampirolli MCTest 21
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.6: Tela apresentando os detalhes de um instituto.
Figura 2.7: Tela para confirmar a exclus˜ao do instituto.
Na UFABC, por exemplo, um instituto como o Centro de Matem´atica, Computa¸c˜ao e Cogni¸c˜ao
(CMCC) pode conter v´arios cursos. Al´em disso, um curso pode pertencer a mais de um instituto, e
existem tamb´em cursos intercentros, como o Bacharelado em Ciˆencia e Tecnologia (BCT), que pode
Francisco de Assis Zampirolli MCTest 22
2.2. CRIAR ENTIDADES
pertencer ao instituto PROGRAD (Pr´o-Reitoria de Gradua¸c˜ao) e tamb´em aos trˆes centros existentes
na UFABC.
Outros exemplos de cursos na UFABC incluem a Escola Preparat´oria, que pode ser um curso
do instituto PROEC (Pr´o-Reitoria de Extens˜ao e Cultura), e o curso de idiomas, que pertence ao
instituto NETEL (N´ucleo Educacional de Tecnologias e L´ınguas), entre outros.
Figura 2.8: Tela que apresenta a lista de cursos, na qual o administrador pode atualizar, apagar ou
criar um novo curso.
Essa flexibilidade na associa¸c˜ao dos cursos aos institutos permite uma maior customiza¸c˜ao do
sistema de avalia¸c˜ao educacional do MCTest, conforme as necessidades espec´ıficas de cada institui¸c˜ao
ou curso. Dessa forma, ´e poss´ıvel adaptar o sistema para atender `as demandas e particularidades de
diferentes ´areas de conhecimento e institui¸c˜oes de ensino.
Ao clicar no bot˜ao “Criar um novo Curso” na Figura 2.8, o administrador ser´a direcionado
para a tela de cria¸c˜ao de um novo curso, apresentada na Figura 2.9. Nesta tela, o administrador deve
preencher as informa¸c˜oes necess´arias sobre o curso, como o nome e c´odigo. Al´em disso, ´e necess´ario
selecionar o instituto ao qual o curso pertence, como exemplificado no caso do “Instituto Exemplo”.
´
E importante destacar que ´e poss´ıvel associar mais de um instituto a um curso espec´ıfico, como
Francisco de Assis Zampirolli MCTest 23
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
ser´a exemplificado no pr´oximo cap´ıtulo. Ap´os preencher todas as informa¸c˜oes, o administrador deve
clicar no bot˜ao “Salvar” para salvar o curso no banco de dados do sistema.
Figura 2.9: Tela para administrador criar um curso novo.
Melhorias:
´
E importante destacar que o banco de dados do sistema j´a suporta o relacionamento entre
um conjunto de professores/coordenadores e uma institui¸c˜ao/curso. Portanto, ´e necess´ario
implementar as funcionalidades que permitam vincular esses profissionais `as entidades cor-
respondentes. Isso permitir´a que a gest˜ao dos professores/coordenadores seja feita de forma
mais organizada e eficiente, facilitando a aloca¸c˜ao desses profissionais em diferentes cursos ou
institui¸c˜oes.
Ao clicar em um curso nas colunas “C´odigo” ou “Nome” na Figura 2.8, o usu´ario ser´a direci-
onado para uma tela detalhando as informa¸c˜oes do curso selecionado, conforme ilustrado na Figura
2.10.
´
E importante observar que nesta tela tamb´em s˜ao inseridas informa¸c˜oes sobre as disciplinas do
curso selecionado, em forma de uma lista. A manuten¸c˜ao das disciplinas ser´a abordada na pr´oxima
se¸c˜ao.
2.2.3 Disciplina
A entidade disciplina ´e respons´avel por representar as disciplinas cadastradas no sistema,
sendo sua cria¸c˜ao restrita ao usu´ario com perfil de administrador, que tamb´em pode atualizar ou
apagar uma disciplina existente, como ilustrado na Figura 2.11, conforme apresentado na coluna
“A¸c˜oes” (outros tipos de usu´arios n˜ao tˆem acesso a esses bot˜oes de a¸c˜ao). No entanto, o usu´ario com
perfil de coordenador possui permiss˜ao apenas para atualizar a disciplina que coordena, como ser´a
detalhado na pr´oxima se¸c˜ao.
A entidade disciplina ´e essencial para a organiza¸c˜ao das turmas e t´opicos, o que permite criar
exames espec´ıficos para atender a v´arias turmas simultaneamente, facilitando a gest˜ao e a aplica¸c˜ao
de avalia¸c˜oes na plataforma.
Francisco de Assis Zampirolli MCTest 24
2.2. CRIAR ENTIDADES
Figura 2.10: Tela apresentando os detalhes de um curso.
A Figura 2.12 mostra a tela para criar uma disciplina. Esta tela ´e semelhante `a primeira
parte da tela de atualiza¸c˜ao de uma disciplina. No caso de uma disciplina com muitas turmas,
foram implementadas funcionalidades na segunda parte da tela de atualiza¸c˜ao de disciplina para o
coordenador poder cadastrar todos os professores e estudantes de v´arias turmas de uma s´o vez, atrav´es
da importa¸c˜ao de arquivos no formato CSV, conforme ilustrado na Figura 2.13. Essa funcionalidade
ser´a detalhada no pr´oximo cap´ıtulo, na Se¸c˜ao 3.2.2 – Criar v´arias turmas com arquivo CSV.
A flexibilidade na associa¸c˜ao de cursos permite uma personaliza¸c˜ao maior do sistema de
avalia¸c˜ao educacional do MCTest, conforme as necessidades espec´ıficas de cada disciplina. Al´em
disso, ´e poss´ıvel associar professores e coordenadores `a disciplina, permitindo uma organiza¸c˜ao mais
eficiente e atribui¸c˜ao de responsabilidades na gest˜ao da disciplina. Para selecionar mais de um
professor, basta manter a tecla Ctrl pressionada.
Francisco de Assis Zampirolli MCTest 25
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.11: Tela que apresenta a lista de disciplinas, na qual o administrador pode atualizar, apagar
ou criar uma nova disciplina.
´
E fundamental destacar que a cria¸c˜ao e associa¸c˜ao de disciplinas aos cursos devem ser reali-
zadas com cautela e aten¸c˜ao pelo coordenador, visando garantir a precis˜ao e efetividade da avalia¸c˜ao
educacional. A associa¸c˜ao correta de disciplinas aos respectivos cursos, institutos e professores ´e
crucial para a realiza¸c˜ao de exames precisos e eficazes.
Ao clicar em uma disciplina nas colunas “C´odigo” ou “Nome” da Figura 2.11, ser´a aberta
uma tela detalhando as informa¸c˜oes da disciplina, conforme ilustrado nas Figuras 2.14 e 2.15.
2.2.4 Turma
A entidade turma ´e respons´avel por representar as turmas cadastradas para cada disciplina
no MCTest. A cria¸c˜ao, atualiza¸c˜ao ou exclus˜ao de turmas pode ser realizada pelo administrador,
pelo coordenador ou pelo professor da disciplina, conforme apresentado na Figura 2.16. Nesta figura,
o professor tem a op¸c˜ao de criar uma nova turma ao clicar em “Criar uma nova Turma”, abrindo a
tela apresentada na Figura 2.17. Para isso, ´e necess´ario escolher uma disciplina, definir o c´odigo da
Francisco de Assis Zampirolli MCTest 26
2.2. CRIAR ENTIDADES
Figura 2.12: Tela para o administrador criar uma disciplina. Tela semelhante `a primeira parte da
tela de atualizar uma disciplina.
sala da disciplina e especificar se a turma ´e de teoria ou pr´atica.
Ap´os a cria¸c˜ao da turma pelo professor, a tela apresentada na Figura 2.16 deve ser atualizada
e ´e poss´ıvel clicar em “Atualizar” na coluna “A¸c˜oes” para inserir estudantes na turma. Essa a¸c˜ao
levar´a `a tela de atualiza¸c˜ao da turma, conforme ilustrado na Figura 2.18. Nessa tela, ´e poss´ıvel fazer
a importa¸c˜ao de um arquivo no formato CSV contendo a lista de estudantes que ser˜ao adicionados
`a turma.
Na Figura 2.16, o professor pode clicar no c´odigo da turma (primeira coluna) e aparece a tela
apresentada na Figura 2.19, onde o professor pode atualizar ou apagar estudantes. Veja na Figura
2.20 a tela para atualizar os dados de um estudante.
Na Figura 2.18, ´e poss´ıvel observar uma lista de todas as disciplinas do professor, se houver
alguma, em “Escolher Disciplinas”. Ao clicar no c´odigo de uma turma espec´ıfica (primeira coluna),
o professor pode acessar a tela apresentada na Figura 2.19.
Al´em disso, ao clicar no nome de um estudante espec´ıfico, o professor pode acessar a tela
apresentada na Figura 2.20, onde ´e poss´ıvel atualizar os dados do estudante, como nome, e-mail e
matr´ıcula. Essa funcionalidade permite que os professores mantenham a lista de estudantes atuali-
zada e corrigir eventuais erros ou inconsistˆencias nas informa¸c˜oes.
Francisco de Assis Zampirolli MCTest 27
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.13: Segunda parte da tela para o administrador atualizar uma disciplina.
2.2.5 T´opico
Os t´opicos s˜ao definidos para agrupar quest˜oes numa disciplina. Cada disciplina possui um
conjunto de t´opicos associados. A cria¸c˜ao, atualiza¸c˜ao ou exclus˜ao de um t´opico de disciplina(s)
´e restrita ao usu´ario com perfil de coordenador ou ao administrador, conforme indicado na lista
de t´opicos apresentada na Figura 2.21.
´
E importante ressaltar que a lista exibida corresponde aos
t´opicos das disciplinas onde o usu´ario est´a envolvido.
A Figura 2.22 apresenta a tela para atualiza¸c˜ao de um t´opico, que ´e semelhante `a tela de ca-
dastro de um novo t´opico. Uma das principais funcionalidades dispon´ıveis nessa tela ´e a possibilidade
de associar mais de uma disciplina ao t´opico em quest˜ao, mantendo a tecla Ctrl pressionada. Essa
flexibilidade permite que um mesmo t´opico possa ser utilizado em diferentes disciplinas, conforme as
necessidades e particularidades de cada uma delas.
Ao clicar em um t´opico na primeira coluna da Figura 2.21, ser´a aberta uma tela detalhando as
quest˜oes relacionadas ao t´opico, conforme ilustrado na Figura 2.23 (as outras colunas ser˜ao detalhadas
nos pr´oximos cap´ıtulos).
´
E importante destacar o bot˜ao “Criar-PDF”, que permite a cria¸c˜ao de um
arquivo PDF contendo todas as quest˜oes do t´opico selecionado, conforme ilustrado na Figura 2.24.
Detalhes sobre este arquivo ser˜ao abordados em cap´ıtulos futuros.
2.3 Considera¸c˜oes finais
Neste cap´ıtulo, foi apresentada uma vis˜ao geral do MCTest, enfatizando sua estrutura e
funcionalidades essenciais. Foi discutida a navega¸c˜ao geral do sistema, destacando como os usu´arios
podem acessar as diferentes entidades dispon´ıveis, como institutos, cursos, disciplinas, turmas e
Francisco de Assis Zampirolli MCTest 28
2.3. CONSIDERAC¸
˜
OES FINAIS
Figura 2.14: (Parte 1) Tela apresentando os detalhes de uma disciplina.
t´opicos.
Os diferentes tipos de usu´arios com acesso ao MCTest foram apresentados, incluindo admi-
nistrador, coordenador e professor, juntamente com suas respectivas permiss˜oes e responsabilidades
espec´ıficas.
O administrador foi identificado como o usu´ario com maior privil´egio, possuindo acesso ir-
restrito a todas as funcionalidades e dados do sistema. Sua responsabilidade abrange a configura¸c˜ao
do sistema, cria¸c˜ao e gerenciamento de outros usu´arios, bem como a defini¸c˜ao de parˆametros gerais
do MCTest.
O coordenador, por sua vez, possui um conjunto de ferramentas espec´ıficas para gerenciar
a disciplina, permitindo a cria¸c˜ao e manuten¸c˜ao de t´opicos relevantes para o andamento das aulas,
bem como a cria¸c˜ao de turmas e seus respectivos estudantes.
´
E importante ressaltar que o acesso `as
Francisco de Assis Zampirolli MCTest 29
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.15: (Parte 2) Continua¸c˜ao da tela apresentando os detalhes de uma disciplina.
configura¸c˜oes gerais do sistema ´e restrito ao administrador. Al´em disso, o coordenador pode cadastrar
outros coordenadores e professores para colaborarem na gest˜ao da disciplina. Uma funcionalidade
interessante dispon´ıvel ao coordenador ´e a cria¸c˜ao de turmas por meio da importa¸c˜ao de arquivos
CSV, pr´atica que favorece a organiza¸c˜ao e evita poss´ıveis erros durante a inser¸c˜ao manual de dados.
O professor tem acesso mais restrito em compara¸c˜ao com o coordenador e o administrador.
Sua responsabilidade abrange a cria¸c˜ao e manuten¸c˜ao dos exames, turmas e estudantes atribu´ıdos
a ele, assim como a elabora¸c˜ao e utiliza¸c˜ao de quest˜oes da disciplina. No entanto, ele n˜ao possui
permiss˜ao para cadastrar ou editar disciplinas, ou t´opicos, reservadas ao coordenador e ao adminis-
trador.
Os detalhes espec´ıficos de cada funcionalidade atribu´ıda a esses usu´arios ser˜ao abordados
em cap´ıtulos futuros, fornecendo informa¸c˜oes detalhadas sobre as ferramentas dispon´ıveis para cada
perfil, bem como as a¸c˜oes que podem ser realizadas no sistema.
As entidades quest˜ao e exame desempenham pap´eis fundamentais no MCTest, e suas des-
cri¸c˜oes detalhadas ser˜ao realizadas nas Partes II e III, respectivamente.
Francisco de Assis Zampirolli MCTest 30
2.3. CONSIDERAC¸
˜
OES FINAIS
Figura 2.16: Tela que apresenta a lista de turmas, na qual um professor de uma disciplina pode criar
uma nova turma, al´em de atualizar ou apagar turmas existentes.
A elabora¸c˜ao de quest˜oes parametrizadas representa o aspecto mais desafiador do sistema,
exigindo criatividade, conhecimento da sintaxe L
A
T
E
X e dom´ınio da linguagem Python. No entanto,
ap´os a cria¸c˜ao bem-sucedida dessas quest˜oes, elas podem ser reutilizadas em diversos exames, desde
que adequadamente parametrizadas. Essa caracter´ıstica simplifica a cria¸c˜ao de novos exames.
A entidade exame, por sua vez, ´e considerada o elemento central do sistema, uma vez que todo
o processo avaliativo ´e constru´ıdo em torno dela. Os exames representam a ferramenta por meio da
qual os estudantes s˜ao avaliados e os resultados obtidos, tornando essa entidade indispens´avel para
o ˆexito do MCTest como um sistema de avalia¸c˜ao educacional.
Francisco de Assis Zampirolli MCTest 31
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.17: Tela utilizada pelo professor para criar uma nova turma ap´os clicar no bot˜ao “Criar
uma nova Turma”, na tela da Figura 2.16.
´
E importante destacar que o nome da turma n˜ao pode
conter acentos ou caracteres especiais, pois esse nome far´a parte do cabe¸calho do exame.
Francisco de Assis Zampirolli MCTest 32
2.3. CONSIDERAC¸
˜
OES FINAIS
Figura 2.18: Tela para um professor de uma disciplina poder atualizar uma turma, inserindo estu-
dantes com a importa¸c˜ao de um arquivo no formato CSV.
Francisco de Assis Zampirolli MCTest 33
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.19: Tela para um professor de uma disciplina poder atualizar uma turma, atualizando ou
apagando estudantes da turma. Al´em disso, ´e poss´ıvel incluir um novo estudante na turma.
Figura 2.20: Tela para um professor de uma disciplina poder atualizar os dados de um estudante da
turma.
Francisco de Assis Zampirolli MCTest 34
2.3. CONSIDERAC¸
˜
OES FINAIS
Figura 2.21: Tela com a lista de t´opicos para o coordenador (ou administrador) criar, atualizar ou
apagar um t´opico de disciplina(s).
Francisco de Assis Zampirolli MCTest 35
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.22: Tela para o coordenador (ou administrador) atualizar um t´opico de uma disciplina.
Francisco de Assis Zampirolli MCTest 36
2.3. CONSIDERAC¸
˜
OES FINAIS
Figura 2.23: Tela apresentando os detalhes de um t´opico.
Francisco de Assis Zampirolli MCTest 37
CAP
´
ITULO 2. VIS
˜
AO GERAL DO MCTEST
Figura 2.24: Tela apresentando as trˆes primeiras quest˜oes de um t´opico.
Francisco de Assis Zampirolli MCTest 38
Cap´ıtulo 3
Recursos avan¸cados
Conte´udo
3.1 Administrador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.1.1 Criar um curso relacionado a dois institutos . . . . . . . . . . . . . . . . 38
3.1.2 Criar uma disciplina relacionada a dois cursos . . . . . . . . . . . . . . . 38
3.1.3 Acesso ao banco de dados . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Coordenador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.1 Criar um t´opico relacionado a duas ou mais disciplinas . . . . . . . . . . 41
3.2.2 Criar v´arias turmas com arquivo CSV . . . . . . . . . . . . . . . . . . . 43
3.3 Professor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1 Criar turma com arquivo CSV . . . . . . . . . . . . . . . . . . . . . . . 48
3.3.2 Criar turma com arquivo CSV – restri¸c˜oes . . . . . . . . . . . . . . . . . 49
3.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Este cap´ıtulo fornece uma vis˜ao mais detalhada do sistema MCTest, apresentado no cap´ıtulo
anterior, destacando as funcionalidades espec´ıficas dispon´ıveis para os trˆes tipos de usu´arios: admi-
nistrador, coordenador e professor. Cada um desses usu´arios tem acesso a um conjunto espec´ıfico
de funcionalidades para criar e gerenciar as diversas entidades do sistema, incluindo instituto, curso,
disciplina, t´opico e turma.
´
E relevante enfatizar que as entidades quest˜ao e exame ser˜ao discutidas em cap´ıtulos distintos
nas Partes II e III deste livro, respectivamente, devido `a sua significativa importˆancia no processo de
avalia¸c˜ao. Nesta se¸c˜ao, ser˜ao abordadas as funcionalidades mais avan¸cadas do MCTest dispon´ıveis
para cada tipo de usu´ario, visando facilitar a utiliza¸c˜ao efetiva do sistema.
Para fornecer exemplos pr´aticos, ser˜ao criadas novas entidades no banco de dados disponibi-
lizado no GitHub, apresentado na se¸c˜ao anterior. Essas entidades ser˜ao criadas de forma gradual e
explicativa ao longo deste cap´ıtulo.
39
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Cabe destacar que os usu´arios tˆem acesso somente `as funcionalidades pertinentes ao seu papel
no sistema. Por exemplo, um professor pode optar por estudar somente a Se¸c˜ao 3.3 – Professor deste
cap´ıtulo para obter informa¸c˜oes relevantes para as suas responsabilidades no MCTest.
3.1 Administrador
Nesta se¸c˜ao, ser˜ao discutidas outras funcionalidades destinadas ao administrador do sistema.
O papel do administrador consiste em configurar o sistema conforme as necessidades da institui¸c˜ao,
criar institutos, cursos e disciplinas necess´arios e disponibilizar as disciplinas aos coordenadores para
poderem utiliz´a-las no sistema.
3.1.1 Criar um curso relacionado a dois institutos
No cap´ıtulo anterior, foi abordada a navega¸c˜ao individual de cada usu´ario na plataforma
MCTest. Especificamente, nas Se¸c˜oes 2.2.1 – Instituto e 2.2.2 – Curso, foi explorado como o admi-
nistrador pode criar institutos e cursos, respectivamente. Em situa¸c˜oes em que um curso ´e oferecido
por dois institutos distintos, pode ser vantajoso configurar comportamentos espec´ıficos para cada
um deles. Para ilustrar essa ideia, foi considerado hipoteticamente um curso de Engenharia da
Computa¸c˜ao na UFABC, dividido entre o Centro de Matem´atica, Computa¸c˜ao e Cogni¸c˜ao (CMCC)
e o Centro de Engenharia, Modelagem e Ciˆencias Sociais Aplicadas (CECS). Nesse contexto, se-
ria interessante configurar o MCTest para permitir um acesso mais personalizado a cada instituto.
Uma poss´ıvel configura¸c˜ao para essa situa¸c˜ao pode ser visualizada na Figura 3.1, com a cria¸c˜ao dos
institutos CECS e CMCC.
Ap´os o administrador clicar em “Criar um novo Curso” na Figura 3.2, ser´a exibida a tela de
cria¸c˜ao de um novo curso, apresentada na Figura 3.3. Para associar o curso a dois institutos distintos,
basta manter o bot˜ao “Ctrl” pressionado e clicar nos institutos desejados. A tela de cria¸c˜ao de um
novo curso ´e semelhante `a tela de atualiza¸c˜ao de um curso j´a existente. Observe na Figura 3.4 a lista
de cursos vista pelo administrador ap´os ter criado o curso de Engenharia da Computa¸c˜ao na Figura
3.3. Na coluna “Instituto”, o curso de Engenharia da Computa¸c˜ao est´a associado aos centros CECS
e CMCC.
3.1.2 Criar uma disciplina relacionada a dois cursos
Nas Se¸c˜oes 2.2.2 – Curso e 2.2.3 – Disciplina, foram abordados os procedimentos para o
administrador poder criar cursos e disciplinas, respectivamente. Para ilustrar a relevˆancia da cria¸c˜ao
de uma disciplina relacionada a dois cursos, ser´a apresentado o seguinte cen´ario.
A disciplina de Processamento Digital de Imagens (PDI) ´e uma ´area da Ciˆencia da Com-
puta¸c˜ao que se dedica ao estudo e desenvolvimento de t´ecnicas e algoritmos para manipula¸c˜ao,
an´alise e PDI. Essa disciplina ´e muito importante tanto para estudantes de gradua¸c˜ao em Ciˆencia
da Computa¸c˜ao quanto para estudantes de mestrado e doutorado, por oferecer uma base s´olida de
conhecimentos e habilidades para a solu¸c˜ao de problemas em diversas ´areas de aplica¸c˜ao.
Francisco de Assis Zampirolli MCTest 40
3.1. ADMINISTRADOR
Figura 3.1: Tela com a lista de institutos vista pelo administrador, que pode atualizar, apagar ou
criar um instituto para simular um curso pertencer aos institutos CECS e CMCC.
No curso de gradua¸c˜ao em Ciˆencia da Computa¸c˜ao, a disciplina de PDI aborda diversas
t´ecnicas relevantes para o processamento e an´alise de imagens digitais. Entre elas, destaca-se a
representa¸c˜ao de imagens digitais, que envolve o uso de matrizes para representar as cores dos pixels,
e t´ecnicas de filtragem, que permitem a melhoria da qualidade da imagem, atrav´es da redu¸c˜ao de
ru´ıdos e realce de contornos de objetos.
Al´em disso, a disciplina de PDI tamb´em aborda t´ecnicas de segmenta¸c˜ao de imagens, que
permitem a identifica¸c˜ao de regi˜oes de interesse na imagem, e t´ecnicas de reconhecimento de padr˜oes
em imagens, que permitem a identifica¸c˜ao de objetos, faces e outros elementos na imagem.
Durante o curso de mestrado ou doutorado em Ciˆencia da Computa¸c˜ao, a disciplina de PDI
explora t´ecnicas avan¸cadas, incluindo o uso de Redes Neurais Convolucionais (CNN – do inglˆes Con-
volutional Neural Network). Essas t´ecnicas tˆem se mostrado altamente eficazes para a segmenta¸c˜ao,
reconhecimento e classifica¸c˜ao de imagens.
Francisco de Assis Zampirolli MCTest 41
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Figura 3.2: Tela com a lista de curso, vista pelo administrador.
As CNN s˜ao uma classe de Redes Neurais Artificiais que tˆem sido amplamente utilizadas em
tarefas de PDI, como a segmenta¸c˜ao de objetos em imagens m´edicas ou a classifica¸c˜ao de imagens em
categorias espec´ıficas. Essas redes podem extrair caracter´ısticas das imagens de forma autom´atica,
sem a necessidade de recursos humanos para a extra¸c˜ao manual de caracter´ısticas.
Com a utiliza¸c˜ao de CNN, ´e poss´ıvel obter excelentes resultados na segmenta¸c˜ao, reconhe-
cimento e classifica¸c˜ao de imagens. Por exemplo, na ´area m´edica, ´e poss´ıvel identificar automati-
camente regi˜oes de interesse em imagens de ressonˆancia magn´etica ou tomografia computadorizada,
auxiliando no diagn´ostico de doen¸cas.
Portanto, a disciplina de PDI ´e de grande importˆancia tanto para os estudantes de gradua¸c˜ao
quanto para os estudantes de mestrado e doutorado em Ciˆencia da Computa¸c˜ao. Al´em disso, as
quest˜oes relacionadas a essa disciplina podem ser compartilhadas entre esses dois cursos.
Dessa forma, ´e vi´avel adicionar a disciplina de PDI no MCTest e relacion´a-la com os cursos
de gradua¸c˜ao e p´os-gradua¸c˜ao, conforme ilustrado na Figura 3.5. Esse processo ´e semelhante ao de
Francisco de Assis Zampirolli MCTest 42
3.2. COORDENADOR
Figura 3.3: Tela para o administrador criar um curso novo relacionado a dois institutos. Manter a
tecla “Ctrl” pressionada para escolher mais de uma op¸c˜ao.
associar um curso a dois institutos.
3.1.3 Acesso ao banco de dados
Embora o administrador tenha acesso direto ao banco de dados (BD) ao pressionar o bot˜ao
“Admin” na Figura 2.2-(e), a melhor op¸c˜ao ´e evitar alterar o BD usando esse recurso.
´
E recomendado
utilizar as telas de navega¸c˜ao do MCTest para fazer as altera¸c˜oes necess´arias, pois alterar o BD
diretamente pode resultar em relacionamentos incorretos entre as entidades, o que pode tornar o
sistema inoperante.
3.2 Coordenador
Nesta se¸c˜ao, ser˜ao abordadas as funcionalidades destinadas ao coordenador de disciplina, que
envolvem a manuten¸c˜ao de t´opicos e disciplinas. O coordenador tem a responsabilidade de criar e
gerenciar os t´opicos e disciplinas que ser˜ao utilizados pelos professores para criar exames e Exerc´ıcios
de Programa¸c˜ao (EPs).
3.2.1 Criar um t´opico relacionado a duas ou mais disciplinas
A interdisciplinaridade ´e uma abordagem essencial na educa¸c˜ao moderna, que visa integrar
conhecimentos de diferentes ´areas para enriquecer o processo de aprendizagem e forma¸c˜ao dos estu-
dantes. Nesse sentido, a UFABC se destaca na interdisciplinaridade, conforme apresentado em sua
miss˜ao:
Francisco de Assis Zampirolli MCTest 43
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Figura 3.4: Tela com a lista de curso, vista pelo administrador, ap´os ter criado o curso Engenharia
da Computa¸c˜ao na Figura 3.3.
Miss˜ao da UFABC:
Promover o avan¸co do conhecimento por a¸c˜oes de ensino, pesquisa e extens˜ao,
tendo como fundamentos b´asicos a interdisciplinaridade, a excelˆencia e a inclus˜ao
social.
Nesse sentido, compartilhar um t´opico entre duas ou mais disciplinas pode trazer in´umeros
benef´ıcios para a educa¸c˜ao. Como mencionado na Se¸c˜ao 2.2.5 – T´opico, um t´opico s´o existe no
MCTest se pertencer a uma disciplina, mas pode ser compartilhado entre v´arias delas. Al´em disso,
as quest˜oes s´o existem se estiverem inseridas em um t´opico.
Um exemplo pr´atico dessa abordagem pode ser observado na UFABC, onde a l´ogica de pro-
grama¸c˜ao ´e abordada em diversas disciplinas. Especificamente, esse t´opico ´e tratado no Bacharelado
Francisco de Assis Zampirolli MCTest 44
3.2. COORDENADOR
Figura 3.5: Tela com a lista de disciplinas, vista pelo administrador, com destaque para a disciplina
PDI, que est´a relacionada aos cursos de BCC e POSCOMP.
em Ciˆencia e Tecnologia (BCT), no segundo exame da disciplina de Bases Computacionais da Ciˆencia
(CS0) para os ingressantes e tamb´em no primeiro exame de Processamento da Informa¸c˜ao (PI – CS1)
no terceiro quadrimestre dos ingressantes. Atualmente, a maioria das turmas dessas duas discipli-
nas utiliza a linguagem Python. Al´em disso, a disciplina de Programa¸c˜ao Estruturada (PE – CS2)
do Bacharelado em Ciˆencia da Computa¸c˜ao tamb´em aborda a l´ogica de programa¸c˜ao no primeiro
exame, utilizando a linguagem C.
Ao elaborar quest˜oes sobre l´ogica de programa¸c˜ao de forma independente da linguagem utili-
zada, ´e poss´ıvel compartilhar essas quest˜oes entre as trˆes disciplinas mencionadas. Essa pr´atica tem
v´arias vantagens:
Otimiza¸c˜ao de recursos: Ao compartilhar quest˜oes e t´opicos, ´e poss´ıvel economizar tempo e es-
for¸co dos professores na cria¸c˜ao de materiais did´aticos, permitindo que se concentrem em outras
tarefas importantes, como atendimento aos estudantes e pesquisas de novas metodologias de
Francisco de Assis Zampirolli MCTest 45
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Figura 3.6: Tela com a lista de entidades que o administrador pode fazer manuten¸c˜ao diretamente
no BD.
ensino;
Consistˆencia no conte´udo: Ao utilizar t´opicos comuns entre diferentes disciplinas, os estudantes
s˜ao expostos a uma abordagem consistente e coerente, facilitando a compreens˜ao e a conex˜ao
Francisco de Assis Zampirolli MCTest 46
3.2. COORDENADOR
entre os conceitos aprendidos;
Desenvolvimento de habilidades transfer´ıveis: Ao aprender sobre um t´opico em v´arias disci-
plinas, os estudantes tˆem a oportunidade de desenvolver habilidades transfer´ıveis, como pen-
samento cr´ıtico, resolu¸c˜ao de problemas e comunica¸c˜ao. Essas habilidades s˜ao essenciais para
o sucesso em diversas ´areas profissionais;
Fomento da interdisciplinaridade: Compartilhar t´opicos entre disciplinas incentiva os estudan-
tes a estabelecer conex˜oes entre diferentes campos do conhecimento, promovendo uma educa¸c˜ao
mais integrada e abrangente.
A Figura 3.7 exemplifica uma lista de t´opicos, demonstrando que um determinado t´opico pode
pertencer a trˆes disciplinas diferentes. Adicionalmente, a Figura 3.8 apresenta detalhes espec´ıficos
da disciplina de Processamento da Informa¸c˜ao, com destaque para os t´opicos compartilhados. Essa
configura¸c˜ao permite que um professor utilize todas as quest˜oes desses t´opicos ao elaborar um exame.
3.2.2 Criar v´arias turmas com arquivo CSV
No cap´ıtulo anterior, foi abordada a cria¸c˜ao de disciplinas na Se¸c˜ao 2.2.3 – Disciplina, e a
cria¸c˜ao de turmas com estudantes foi apresentada na Se¸c˜ao 2.2.4 – Turma. No entanto, em algumas
situa¸c˜oes, pode ser necess´ario criar v´arias turmas da mesma disciplina simultaneamente. Para atender
a essa demanda, foram implementadas funcionalidades que permitem ao coordenador cadastrar todos
os professores e estudantes de m´ultiplas turmas de uma s´o vez, por meio da importa¸c˜ao de arquivos
no formato CSV, conforme ilustrado na Figura 3.10.
Melhorias:
´
E importante ressaltar que esse recurso precisa ser aprimorado e, por enquanto, o bot˜ao
“Upload-Turma” ir´a remover todos os estudantes de todas as turmas associadas a essa disci-
plina, atualizando com os novos dados do arquivo CSV. Portanto, ´e fundamental ter cuidado
ao utilizar essa funcionalidade e garantir que os dados do arquivo CSV estejam corretos e
atualizados.
As telas para cria¸c˜ao e atualiza¸c˜ao de disciplinas apresentadas nas Figuras 3.9 e 3.10 s˜ao
semelhantes e est˜ao dispon´ıveis tanto para o administrador quanto para o coordenador da disciplina.
Na Figura 3.10, o primeiro arquivo CSV ´e destinado ao coordenador para inserir diversos professores
na disciplina, com o perfil de professor j´a configurado, como apresentado a seguir:
Arquivo CSV com dados dos professores:
123, Jo~ao da Silva, joao@ufabc.edu.br
987, Maria Gon¸calves, maria@ufabc.edu.br
Por sua vez, o segundo arquivo CSV nesta figura ´e utilizado pelo coordenador para adicionar
v´arias turmas, contendo estudantes e professores, com um formato pr´e-definido como segue:
Francisco de Assis Zampirolli MCTest 47
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Figura 3.7: Tela com a lista de t´opicos, vista pelo coordenador.
´
E poss´ıvel observar o compartilha-
mento de t´opicos entre disciplinas.
Arquivo CSV com dados de estudantes e professores:
123, Jo~ao Silva, js@gmail.com, DA1, sala1, PClass, fzprof@ufabc.edu.br
987, Maria Campos, mc@gmail.com, DA2, sala2, TClass, fzprof@ufabc.edu.br
Este ´ultimo arquivo CSV apresenta as seguintes colunas, em ordem: identifica¸c˜ao do estu-
dante, nome completo do estudante, e-mail do estudante, turma, sala, “PClass” (para turma pr´atica)
ou “TClass” (para turma te´orica) e e-mail do professor.
Francisco de Assis Zampirolli MCTest 48
3.3. PROFESSOR
Figura 3.8: Tela com detalhes da disciplina de Processamento da Informa¸c˜ao, vista pelo coordenador,
com os t´opicos compartilhados tamb´em apresentados na Figura 3.7.
3.3 Professor
Nesta se¸c˜ao ser´a abordada mais funcionalidades destinadas aos professores, que incluem a
manuten¸c˜ao de turmas, quest˜oes e exames. O professor ´e respons´avel por criar as turmas, selecionar
as quest˜oes e criar os exames para avaliar os estudantes. Com o sistema MCTest, os professores
podem criar exames com quest˜oes de m´ultipla escolha (QMs) ou dissertativas (QTs), incluindo EPs
Francisco de Assis Zampirolli MCTest 49
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Figura 3.9: (Parte 1) Tela de cria¸c˜ao da disciplina de Processamento da Informa¸c˜ao pelo adminis-
trador.
parametrizados para corre¸c˜ao autom´atica no Moodle, utilizando o plugin VPL.
3.3.1 Criar turma com arquivo CSV
O professor ´e respons´avel por criar uma turma e manter os dados de seus estudantes atuali-
zados, como discutido na Se¸c˜ao 2.2.4 – Turma. O primeiro passo ´e criar a turma e relacion´a-la a uma
disciplina, conforme ilustrado na Figura 2.17. Em seguida, o professor pode inserir os estudantes de
trˆes maneiras distintas:
1. Selecionando v´arios estudantes na lista com a tecla “Ctrl” pressionada, como demonstrado na
Figura 2.18;
2. Incluindo um estudante de cada vez, conforme exemplificado na Figura 2.19 e/ou atualizando
os dados de um estudante, como demonstrado na Figura 2.20;
3. Ou, de maneira mais eficiente, utilizando um arquivo CSV, vistos a seguir.
Para utilizar um arquivo CSV para preencher uma turma com estudantes, o professor deve
primeiro criar a turma, como ilustrado na Figura 2.17, e em seguida fazer o upload do arquivo no
Francisco de Assis Zampirolli MCTest 50
3.3. PROFESSOR
Figura 3.10: (Parte 2) Tela de cria¸c˜ao da disciplina de Processamento da Informa¸c˜ao pelo admi-
nistrador.
´
E poss´ıvel incluir professores, turmas e estudantes pela importa¸c˜ao de dois arquivos no
formato CSV.
in´ıcio da Figura 2.18, selecionando o arquivo em “Escolher arquivo” e, em seguida, clicando no bot˜ao
“Importar-Estudantes”. O arquivo deve seguir o formato apresentado abaixo:
Arquivo CSV com dados completos:
123, Jo~ao da Silva, joao@aluno.ufabc.edu.br
987, Maria Gon¸calves, maria@aluno.ufabc.edu.br
Observe que a primeira linha do arquivo j´a representa o primeiro estudante, com sua identi-
fica¸c˜ao, nome completo e e-mail, separados por v´ırgula ou ponto e v´ırgula.
´
E importante destacar
que o e-mail ´e opcional, como no exemplo abaixo:
Arquivo CSV, sem e-mail:
123, Jo~ao da Silva
987, Maria Gon¸calves
3.3.2 Criar turma com arquivo CSV – restri¸c˜oes
O professor deve ter uma aten¸c˜ao especial aos acentos e s´ımbolos especiais neste arquivo CSV,
que deve seguir o formato UTF-8. Uma alternativa ´e converter esses s´ımbolos para o formato L
A
T
E
X,
utilizando, por exemplo, o recurso dispon´ıvel na internet em w2.syronex.com/jmr/latex-symbols-
converter, conforme exemplo abaixo:
Francisco de Assis Zampirolli MCTest 51
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Arquivo CSV, com acentos no formato L
A
T
E
X:
123, Jo\~{a}o da Silva, joao@aluno.ufabc.edu.br
987, Maria Gon\c{c}alves, maria@aluno.ufabc.edu.br
Observa¸c˜oes:
1. O nome do estudante no sistema tem um limite de 45 caracteres. Caso o arquivo CSV
contenha um nome de estudante com mais de 45 caracteres, o sistema ir´a remover au-
tomaticamente o(s) sobrenome(s) do meio, de tr´as para frente, mantendo o ´ultimo so-
brenome, at´e atingir os 45 caracteres permitidos. Essa medida ´e tomada para garantir
a integridade dos dados e evitar problemas de exceder o limite de caracteres ao incluir
o nome do estudante em um exame. Um exemplo pode ser visto na Figura 3.11;
2. Caso o arquivo contenha um identificador j´a existente, o sistema n˜ao criar´a ou alterar´a
o mesmo.
Figura 3.11: Tela mostrando o resultado do cadastro de estudantes utilizando a importa¸c˜ao de um
arquivo no formato CSV.
3.4 Considera¸c˜oes finais
Este cap´ıtulo expandiu as funcionalidades apresentadas no cap´ıtulo anterior, apresentando
recursos avan¸cados dispon´ıveis no MCTest para usu´arios com diferentes pap´eis (administrador, coor-
denador e professor). Cada tipo de usu´ario tem acesso a um conjunto espec´ıfico de ferramentas para
criar e gerenciar as diversas entidades do sistema de avalia¸c˜ao, como institutos, cursos, disciplinas,
t´opicos, turmas, professores e estudantes.
As funcionalidades abordadas procuram facilitar o gerenciamento das entidades e a confi-
gura¸c˜ao do sistema conforme as necessidades de cada institui¸c˜ao. O administrador, em particular,
tem permiss˜oes amplas para configurar o sistema e gerenciar o acesso dos usu´arios. Os coordenado-
res s˜ao respons´aveis por gerenciar disciplinas, t´opicos e turmas. J´a os professores podem gerenciar
quest˜oes, exames, turmas e estudantes sob sua responsabilidade.
Nos pr´oximos cap´ıtulos da Parte II, ser˜ao abordados a cria¸c˜ao e o gerenciamento de quest˜oes
Francisco de Assis Zampirolli MCTest 52
CAP
´
ITULO 3. RECURSOS AVANC¸ ADOS
Francisco de Assis Zampirolli MCTest 54
Francisco de Assis Zampirolli MCTest 56
Cap´ıtulo 4
Quest˜oes est´aticas
Conte´udo
4.1 Tutoriais gerais sobre a navega¸c˜ao de quest˜oes . . . . . . . . . . . . . . . . . . . 53
4.2 Quest˜ao de m´ultipla escolha (QM) . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 Quest˜ao dissertativa (QT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
A cria¸c˜ao de quest˜oes est´aticas ´e fundamental para a avalia¸c˜ao educacional e existem diver-
sas abordagens e formatos dispon´ıveis. Neste cap´ıtulo, ser˜ao abordados os dois principais tipos de
quest˜oes est´aticas utilizados em avalia¸c˜oes educacionais: as quest˜oes de m´ultipla escolha (QMs) e as
quest˜oes dissertativas ou de texto (QTs). O objetivo ´e apresentar as caracter´ısticas e particularida-
des de cada tipo de quest˜ao, bem como as vantagens e desvantagens de sua utiliza¸c˜ao na avalia¸c˜ao
da aprendizagem.
´
E importante destacar que as quest˜oes apresentadas neste cap´ıtulo n˜ao s˜ao para-
metrizadas, sendo as ´unicas varia¸c˜oes os sorteios das quest˜oes e alternativas, no caso das QMs. No
pr´oximo cap´ıtulo, ser˜ao abordadas as quest˜oes parametrizadas.
Neste cap´ıtulo, ser´a discutida a visibilidade do professor no menu do MCTest, permitindo
que ele fa¸ca a manuten¸c˜ao das quest˜oes, exames e turmas que criou. Al´em disso, o professor tamb´em
pode visualizar e utilizar quest˜oes criadas por outros professores cadastrados nas mesmas disciplinas.
´
E importante compreender como essa funcionalidade pode ser ´util aos professores, proporcionando
maior uniformidade e controle sobre as avalia¸c˜oes.
4.1 Tutoriais gerais sobre a navega¸c˜ao de quest˜oes
Na Figura 4.1, ´e apresentada a lista de quest˜oes que o usu´ario “fzprof” pode visualizar ao
clicar no bot˜ao “Quest˜oes” `a esquerda do menu superior. Esse menu exibe todas as quest˜oes criadas
por todos os professores cadastrados nas mesmas disciplinas de “fzprof”.
57
CAP
´
ITULO 4. QUEST
˜
OES EST
´
ATICAS
A Figura 4.1 exibe a lista de quest˜oes, apresentando diversos atributos (colunas), como o
“T´opico” da disciplina, o “Tipo” de quest˜ao (podendo ser QM ou QT), o n´umero de alternativas
(no caso do tipo QM, que neste exemplo ´e cinco), o “Grupo” da quest˜ao (para evitar que sejam
sorteadas duas ou mais quest˜oes do mesmo grupo em um exame), a dificuldade variando de 1 a 5,
se ´e param´etrica, a identifica¸c˜ao da quest˜ao no banco de dados (“ID”), a “Descri¸c˜ao curta” (para
facilitar o entendimento do que se trata a quest˜ao sem precisar abrir todo o enunciado) e, por fim,
os bot˜oes de “A¸c˜oes”, que permitem atualizar ou apagar a quest˜ao.
Figura 4.1: Tela para o professor visualizar todas as quest˜oes de disciplinas que est´a cadastrado.
Caso o professor tente modificar uma quest˜ao que n˜ao ´e de sua autoria, ser´a exibida a men-
sagem de erro apresentada na Figura 4.2.
Francisco de Assis Zampirolli MCTest 58
4.1. TUTORIAIS GERAIS SOBRE A NAVEGAC¸
˜
AO DE QUEST
˜
OES
Figura 4.2: Exibi¸c˜ao de erro ao tentar modificar quest˜ao criada por outro autor.
Observa¸c˜oes:
1. Embora a Figura 4.1 exiba os bot˜oes “Atualizar” e “Apagar”, ´e importante ressaltar
que, caso o professor tente alterar ou apagar uma quest˜ao criada por outro professor, o
sistema n˜ao permitir´a a modifica¸c˜ao ou exclus˜ao da quest˜ao;
2.
´
E interessante manter o bot˜ao “Atualizar” dispon´ıvel, por permitir que qualquer pro-
fessor da disciplina possa visualizar como a quest˜ao foi criada. Ao clicar nas colunas
“Tipo” at´e “Descri¸c˜ao curta”, o professor pode conferir a quest˜ao em um modo diferente
e simplificado, como mostrado na Figura 4.3.
´
E importante ressaltar que essa n˜ao ´e a
melhor forma de visualizar os detalhes da quest˜ao, mas o professor pode acessar o PDF
completo de visualiza¸c˜ao da quest˜ao clicando no bot˜ao “Criar-PDF”.
Figura 4.3: Exibi¸c˜ao da quest˜ao QE1 criada por outro autor.
Na Figura 4.4, ´e poss´ıvel observar que o professor “fzprof” ainda n˜ao criou nenhuma quest˜ao.
Para criar novas quest˜oes, o professor pode importar um arquivo no formato TXT, conforme exem-
Francisco de Assis Zampirolli MCTest 59
CAP
´
ITULO 4. QUEST
˜
OES EST
´
ATICAS
plificado abaixo. Esse formato foi utilizado na vers˜ao 4 do MCTest, que executava no console de
um computador e aceitava apenas trˆes n´ıveis de dificuldade: f´acil (QE), m´edio (QM) e dif´ıcil (QH),
representados em inglˆes por easy, median e hard, respectivamente. J´a a vers˜ao web atual do MCTest
aceita cinco n´ıveis de dificuldade, de 1 a 5. Ao importar uma quest˜ao de um arquivo TXT na vers˜ao
web, as quest˜oes com n´ıvel de dificuldade QE ter˜ao dificuldade 1, as QM ter˜ao dificuldade 3 e as QH
ter˜ao dificuldade 5.
No exemplo a seguir, o t´opico ´e “DE-matriz” e ´e necess´ario existir uma disciplina com esse
t´opico cadastrada no MCTest. Para evitar conflitos, ´e recomend´avel incluir algum c´odigo como
prefixo do t´opico, como o c´odigo da disciplina. Por exemplo, “DE-matriz” significa que o t´opico
matriz pertence `a disciplina “Disciplina Exemplo” cadastrada no MCTest. Al´em disso, o campo
“grupo” da quest˜ao ´e importante para evitar que duas quest˜oes do mesmo grupo sejam sorteadas em
um mesmo exame. Isso ser´a exemplificado em cap´ıtulos futuros ao explicar a elabora¸c˜ao de exames.
Finalmente, as alternativas, se existirem, devem ser precedidas de “A:”, sendo a primeira alternativa
sempre a correta. Ao visualizar uma quest˜ao, as alternativas ser˜ao sorteadas a cada vez que o PDF
da quest˜ao for gerado.
´
E poss´ıvel criar v´arias QMs utilizando somente um arquivo TXT. Por´em, se
forem quest˜oes param´etricas, deve existir apenas uma quest˜ao por arquivo.
Arquivo CSV, com acentos no formato L
A
T
E
X:
QE::DE-matriz::grupo::
Crie uma matriz $3 \times 5$ de inteiros, com elementos $(i, j) = i + j$,
com ´ındices come¸cando em zero, imprima a soma dos elementos da matriz.
A: 44 % alternativa correta - sempre a primeira
A: 35
A: 43
A: 55
A: 47
Melhorias:
Por enquanto, o bot˜ao “Upload-Quest˜oes-Json” apresentado na Figura 4.4 ainda n˜ao est´a
funcionando. Essa funcionalidade ser´a ´util para um professor poder fazer backup de suas
quest˜oes e recuper´a-las no futuro, caso necess´ario.
Em vez de criar quest˜oes por meio da importa¸c˜ao de arquivos nos formatos TXT ou JSON,
outra op¸c˜ao ´e criar as quest˜oes diretamente no MCTest. Para isso, basta clicar no bot˜ao “Criar uma
nova Quest˜ao”, apresentado na Figura 4.4. Em seguida, ser´a aberta a tela apresentada na Figura
4.5, onde ´e poss´ıvel criar uma nova quest˜ao. Cada quest˜ao deve pertencer a apenas um t´opico, e
o professor deve escolher um t´opico na op¸c˜ao “Escolher T´opico”. No entanto, um mesmo t´opico
pode ser compartilhado por mais de uma disciplina, permitindo que as quest˜oes sejam utilizadas
em diferentes contextos. Em seguida, deve definir uma “Descri¸c˜ao curta” e um “Grupo”. Tamb´em
deve definir uma “Descri¸c˜ao”, escolher em “Tipo” se ´e QM ou QT, escolher uma “Dificuldade” entre
muito f´acil (1) e muito dif´ıcil (5), definir a “Taxonomia de Bloom” e, por fim, informar se a quest˜ao
Francisco de Assis Zampirolli MCTest 60
4.2. QUEST
˜
AO DE M
´
ULTIPLA ESCOLHA (QM)
Figura 4.4: Tela para o professor visualizar suas quest˜oes e criar novas, incluindo importa¸c˜ao de
formato TXT.
´e param´etrica ou n˜ao. Na Figura 4.6, ´e poss´ıvel ver um exemplo hipot´etico de preenchimento dos
campos para criar uma nova quest˜ao, antes de clicar no bot˜ao “Salvar”.
Vale destacar que ainda ser˜ao necess´arios incluir mais atributos no formul´ario da quest˜ao.
Por exemplo, ´e poss´ıvel adicionar as caracter´ısticas de cada quest˜ao utilizando a Teoria de Resposta
ao Item (TRI) (ZAMPIROLLI, 2021; ZAMPIROLLI, 2021). Al´em disso, a inclus˜ao da “Taxonomia
de Bloom” foi motivada pelos artigos de referˆencia Calsavara, Serra, Zampirolli, Carvalho, Jonathan
e Correia (2018) e Correia, Calsavara, Serra, Zampirolli e Jonathan (2018).
4.2 Quest˜ao de m´ultipla escolha (QM)
Nesta se¸c˜ao, ser˜ao abordadas as QMs, ap´os a revis˜ao geral das quest˜oes apresentadas na se¸c˜ao
anterior. A QM ´e um tipo de quest˜ao amplamente utilizado em avalia¸c˜oes educacionais. Ela consiste
Francisco de Assis Zampirolli MCTest 61
CAP
´
ITULO 4. QUEST
˜
OES EST
´
ATICAS
Figura 4.5: Tela para um professor criar uma nova quest˜ao.
em apresentar ao estudante uma pergunta ou enunciado, seguido de diversas op¸c˜oes de resposta,
variando geralmente de trˆes a cinco alternativas, das quais apenas uma ´e a correta. O objetivo ´e
verificar se o estudante possui o conhecimento necess´ario para identificar a resposta correta dentre
as op¸c˜oes apresentadas. O MCTest tamb´em possibilita a existˆencia de mais de uma alternativa
correta, ou a atribui¸c˜ao de pesos diferentes em cada alternativa, mas esses t´opicos ser˜ao abordados
em cap´ıtulos futuros.
As QMs s˜ao frequentemente utilizadas em testes padronizados, exames de vestibular e con-
cursos p´ublicos, al´em de serem comuns em avalia¸c˜oes em sala de aula. Elas s˜ao consideradas uma
forma eficiente e pr´atica de avaliar o conhecimento dos estudantes, j´a que permitem avaliar in´umeras
pessoas em pouco tempo e com baixo custo. No entanto, uma das desvantagens desse tipo de quest˜ao
´e a possibilidade de pl´agio. O MCTest, por´em, consegue minimizar esse problema com a utiliza¸c˜ao
de sorteio das quest˜oes e alternativas, gerando exames individuais para cada estudante.
Ap´os a cria¸c˜ao da quest˜ao, realizada ao clicar no bot˜ao “Salvar” na Figura 4.6, pode ser
necess´ario atualiz´a-la para adicionar alternativas, caso seja uma QM. Para isso, basta acessar a
op¸c˜ao “Quest˜oes” `a direita de “fzprof”, na Figura 4.1, e, em seguida, selecionar o bot˜ao “Atualizar”
referente `a quest˜ao desejada. Ser´a apresentada uma nova tela, conforme ilustrado na Figura 4.7.
Francisco de Assis Zampirolli MCTest 62
4.2. QUEST
˜
AO DE M
´
ULTIPLA ESCOLHA (QM)
Figura 4.6: Tela com valores preenchidos para criar uma nova quest˜ao, antes de clicar no bot˜ao
“Salvar”.
Na Figura 4.7, o professor pode visualizar a quest˜ao em formato PDF clicando no bot˜ao
“Criar-PDF”, mostrado na Figura 4.8. Ao se tratar de uma quest˜ao param´etrica que inclui c´odigos
em Python, o professor pode testar a quest˜ao separadamente no Google Colab, clicando no bot˜ao
“Compile-Colab”. O Colab ´e uma ferramenta muito ´util durante a cria¸c˜ao de quest˜oes param´etricas,
j´a que o MCTest ainda n˜ao oferece um ambiente para compilar e depurar c´odigos. No entanto, esse
t´opico ser´a abordado em cap´ıtulos futuros.
O bot˜ao “Salvar-Json” salva todas as quest˜oes criadas pelo usu´ario “fzprof” em um arquivo
no formato JSON. A importa¸c˜ao desse arquivo ainda n˜ao est´a dispon´ıvel no MCTest, como observado
anteriormente.
Complementando a tela de cria¸c˜ao de quest˜oes, apresentadas nas Figuras 4.5 e 4.6, a Figura
4.7 inclui os atributos “Quem criou” e a data da “
´
Ultima atualiza¸c˜ao”. A seguir est˜ao as pol´ıticas
de edi¸c˜ao e uso de quest˜oes no MCTest:
Francisco de Assis Zampirolli MCTest 63
CAP
´
ITULO 4. QUEST
˜
OES EST
´
ATICAS
Observa¸c˜oes:
1. Somente o criador da quest˜ao ou o coordenador da disciplina podem editar uma quest˜ao;
2. No entanto, todos os professores cadastrados na disciplina tˆem permiss˜ao para utilizar
as quest˜oes em seus exames, se concordarem com os termos apresentados na Se¸c˜ao 1.3.2
- Direitos autorais das quest˜oes dispon´ıveis no BD, dispon´ıvel na op¸c˜ao “De Acordo”
da Figura 4.7. Essa ´e uma pol´ıtica adotada na UFABC, mas outras institui¸c˜oes podem
adotar pol´ıticas diferentes.
Al´em disso, a Figura 4.7 apresenta campos para edi¸c˜ao das alternativas da quest˜ao. Caso a
quest˜ao seja dissertativa e possua conte´udo nesses campos, esses valores n˜ao ser˜ao utilizados ao criar
exames.
´
E importante observar que a tela apresenta apenas uma alternativa, incluindo o “Texto da
Resposta” e o “Retorno” desta alternativa” (este ´ultimo ´e opcional). Para criar novas alternativas,
´e necess´ario clicar no bot˜ao “Salvar”. De maneira similar, para excluir uma ou v´arias alternativas j´a
criadas, basta selecionar a caixa de sele¸c˜ao “Apagar” correspondente a cada alternativa que deseja
excluir e, em seguida, clicar em “Salvar”.
Destaque:
A Figura 4.7 foi atualizada para permitir que o professor efetue o armazenamento no servidor
do MCTest de imagens e as inclua em uma quest˜ao. O professor pode selecionar um arquivo
no formato PNG para importa¸c˜ao, sendo necess´ario tomar precau¸c˜oes quanto ao nome do
arquivo, a fim de evitar a sobreposi¸c˜ao com outro arquivo de mesmo nome. Uma sugest˜ao
consiste em acrescentar um prefixo ao nome do arquivo, tal como fz_PDI_image01.png.
´
E
importante observar que o nome do arquivo n˜ao deve conter caracteres especiais nem espa¸cos
em branco. Este arquivo permanecer´a no servidor pelo per´ıodo de 180 dias. Adicionalmente,
´e relevante ressaltar que a inclus˜ao de imagens em um documento L
A
T
E
X pode resultar em
consider´avel lentid˜ao na gera¸c˜ao do arquivo PDF.
A Figura 4.9 apresenta o PDF gerado de uma QM com cinco alternativas preenchidas, ap´os o
clique no bot˜ao “Criar-PDF”. O n´umero em verde representa o ID da quest˜ao no banco de dados. Os
valores em vermelho correspondem `as alternativas incorretas, enquanto o valor em azul representa a
alternativa correta, considerando a ordem de cria¸c˜ao das alternativas definidas na Figura 4.7.
4.3 Quest˜ao dissertativa (QT)
Para criar uma quest˜ao dissertativa (QT – de texto), basta selecionar a op¸c˜ao “Quest˜ao
Dissertativa” no campo Tipo, conforme apresentado na Figura 4.5.
´
E importante observar que o
processo de cria¸c˜ao para QTs ´e similar ao processo para QMs, apresentado na se¸c˜ao anterior.
A Figura 4.10 apresenta um exemplo de PDF gerado para uma QT. Nesse tipo de quest˜ao,
Francisco de Assis Zampirolli MCTest 64
4.3. QUEST
˜
AO DISSERTATIVA (QT)
Figura 4.7: Tela de atualiza¸c˜ao para QM sem alternativas e feedback, previamente criada pelo pro-
fessor.
Francisco de Assis Zampirolli MCTest 65
CAP
´
ITULO 4. QUEST
˜
OES EST
´
ATICAS
Figura 4.8: Recorte do PDF gerado ap´os clicar no bot˜ao “Criar-PDF”, na Figura 4.7.
Figura 4.9: Recorte do PDF gerado ap´os clicar no bot˜ao “Criar-PDF”, na Figura 4.7, para a quest˜ao
atualizada com cinco alternativas.
o estudante deve escrever uma resposta livremente, sem a necessidade de escolher entre alternativas
predefinidas. As cinco linhas que aparecem nessa quest˜ao s˜ao impressas utilizando o comando pr´e-
definido \drawLines{5}.
´
E comum que as QTs sejam usadas para avaliar a compreens˜ao do estudante
sobre um determinado tema, suas habilidades de an´alise e argumenta¸c˜ao, ou ainda para avaliar a
sua capacidade de escrever de forma clara e organizada.
Na Figura 4.11, apresenta-se a altera¸c˜ao do campo “Descri¸c˜ao” da Figura 4.7, utilizando a
sintaxe do L
A
T
E
X, uma linguagem de marca¸c˜ao amplamente utilizada na produ¸c˜ao de documentos
acadˆemicos. O PDF gerado desta quest˜ao ´e apresentado na Figura 4.12
A quest˜ao avaliar´a as competˆencias e habilidades dos estudantes em rela¸c˜ao aos conceitos de
condicional e repeti¸c˜ao na programa¸c˜ao. Esses conceitos s˜ao fundamentais para o desenvolvimento de
algoritmos e programas computacionais, e s˜ao frequentemente abordados em disciplinas introdut´orias
de programa¸c˜ao.
Francisco de Assis Zampirolli MCTest 66
4.4. CONSIDERAC¸
˜
OES FINAIS
Figura 4.10: Recorte do PDF gerado ap´os clicar no bot˜ao “Criar-PDF”, na Figura 4.7, para uma
quest˜ao dissertativa (“Type: QT”).
4.4 Considera¸c˜oes finais
O MCTest ´e uma plataforma completa que oferece diversas funcionalidades para a cria¸c˜ao de
exames. Desde QMs e QTs at´e quest˜oes param´etricas que envolvem c´odigos em Python. O MCTest
oferece recursos para os professores poderem criar avalia¸c˜oes personalizadas para suas turmas. Al´em
disso, a plataforma permite que as quest˜oes sejam organizadas em bancos de dados para facilitar a
cria¸c˜ao de exames.
No entanto, ´e importante destacar que o MCTest ´e apenas uma ferramenta auxiliar no pro-
cesso de avalia¸c˜ao. A qualidade da avalia¸c˜ao depende n˜ao apenas das quest˜oes criadas, mas tamb´em
da forma como s˜ao elaboradas e aplicadas.
´
E fundamental que os professores sejam cuidadosos na
escolha das quest˜oes e na defini¸c˜ao do n´ıvel de dificuldade adequado para cada turma. A utiliza¸c˜ao
do MCTest deve ser sempre acompanhada de uma an´alise cr´ıtica e cuidadosa sobre a adequa¸c˜ao das
quest˜oes e a efetividade do processo de avalia¸c˜ao.
Por fim, espera-se que este documento tenha sido ´util para os professores interessados em
utilizar o MCTest em suas disciplinas. No pr´oximo cap´ıtulo, ser˜ao abordadas quest˜oes param´etricas
que envolvem c´odigos em Python.
Francisco de Assis Zampirolli MCTest 67
CAP
´
ITULO 4. QUEST
˜
OES EST
´
ATICAS
Figura 4.11: Recorte da “Descri¸c˜ao” de uma QT de teste de mesa.
Francisco de Assis Zampirolli MCTest 68
4.4. CONSIDERAC¸
˜
OES FINAIS
Figura 4.12: Recorte do PDF gerado da QT de teste de mesa.
Francisco de Assis Zampirolli MCTest 69
CAP
´
ITULO 4. QUEST
˜
OES EST
´
ATICAS
Francisco de Assis Zampirolli MCTest 70
Cap´ıtulo 5
Quest˜oes param´etricas
Conte´udo
5.1 QM param´etrica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.1.1 Um exemplo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.1.2 QM param´etrica no MCTest . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2 QT param´etrica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.1 Exemplo 1 – Teste de mesa . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2.2 Exemplo 2 – Teste de mesa e gabarito . . . . . . . . . . . . . . . . . . . 71
5.2.3 Exemplo 3 – Teste de mesa e gabarito com settrace . . . . . . . . . . 74
5.3 QT param´etrica, com c´odigo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3.1 Introdu¸c˜ao ao Moodle e ao VPL . . . . . . . . . . . . . . . . . . . . . . 79
5.3.2 Quest˜ao com exerc´ıcio de programa¸c˜ao no Moodle+VPL . . . . . . . . . 80
5.3.3 Quest˜ao com exerc´ıcio de programa¸c˜ao no MCTest+Moodle+VPL . . . 82
5.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
No cap´ıtulo anterior, foi apresentada a cria¸c˜ao de quest˜oes est´aticas de m´ultipla escolha (QMs)
e dissertativas (QTs), incluindo uma quest˜ao t´ıpica utilizada em disciplinas de l´ogica de programa¸c˜ao
na UFABC, apresentada na Figura 4.12.
´
E poss´ıvel criar essas quest˜oes utilizando L
A
T
E
X, uma lingua-
gem de prepara¸c˜ao de documentos de alta qualidade e profissionalismo, com recursos avan¸cados para
controle de tipos de letra, espa¸camento, numera¸c˜ao de se¸c˜oes, referˆencias bibliogr´aficas e equa¸c˜oes
matem´aticas, entre outros. L
A
T
E
X ´e gratuita e est´a dispon´ıvel para v´arios sistemas operacionais.
A linguagem L
A
T
E
X foi criada no in´ıcio da d´ecada de 1980 pelo matem´atico e cientista da
computa¸c˜ao Leslie Lamport (LAMPORT, 1985). Ela ´e baseada no T
E
X, uma linguagem de marca¸c˜ao
desenvolvida por Donald Knuth na d´ecada de 1970 para produzir documentos com alta qualidade
tipogr´afica para sua s´erie de livros “The Art of Computer Programming”. O T
E
X se tornou popular
para a produ¸c˜ao de documentos cient´ıficos, t´ecnicos e matem´aticos e ainda ´e amplamente utilizado
71
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
atualmente.
Para contornar a sintaxe complexa e de dif´ıcil programa¸c˜ao do L
A
T
E
X, no MCTest foi intro-
duzida a possibilidade de intercalar trechos em L
A
T
E
X com trechos de c´odigo em Python. Python ´e
uma linguagem de programa¸c˜ao de alto n´ıvel, interpretada e de prop´osito geral, criada no in´ıcio da
d´ecada de 1990 por Guido van Rossum, e atualmente ´e uma das linguagens de programa¸c˜ao mais
populares do mundo
1
. Com uma ampla variedade de aplica¸c˜oes em ´areas como desenvolvimento
web, ciˆencia de dados, inteligˆencia artificial e automa¸c˜ao de processos, Python ´e conhecida por sua
sintaxe clara e leg´ıvel, facilitando a escrita e a leitura de c´odigo.
O MCTest proporciona aos usu´arios a capacidade de criar quest˜oes diversas e param´etricas,
combinando o uso do formato L
A
T
E
X e da linguagem de programa¸c˜ao Python. Essa funcionalidade
ser´a apresentada neste cap´ıtulo. Em cap´ıtulos futuros, na Parte - IV - Experimentos, ser˜ao explo-
radas com mais detalhes essa caracter´ıstica fundamental do MCTest de criar quest˜oes param´etricas.
Essa abordagem proporciona maior flexibilidade na cria¸c˜ao de quest˜oes personalizadas e permite uma
f´acil manipula¸c˜ao dos parˆametros definidos pelos professores. Dessa forma, a cria¸c˜ao de quest˜oes
torna-se mais eficiente e adapt´avel `as necessidades espec´ıficas de cada disciplina.
Apesar dessa possibilidade, muitas vezes a cria¸c˜ao de quest˜oes param´etricas ainda exige
habilidades de programa¸c˜ao por parte do professor. No entanto, quando h´a um grupo de professores
interessados e uma grande demanda de avalia¸c˜oes para milhares de estudantes, o MCTest oferece a
gest˜ao de avalia¸c˜oes utilizando um banco de quest˜oes que podem ser facilmente reaproveitadas em
avalia¸c˜oes futuras. Essa abordagem j´a foi avaliada em v´arias publica¸c˜oes cient´ıficas, demonstrando
eficiˆencia e efic´acia em avalia¸c˜oes, como apresentado em vision.ufabc.edu.br.
5.1 QM param´etrica
A cria¸c˜ao de QMs ´e uma tarefa comum para professores de diversas ´areas do conhecimento.
Para tornar esse processo mais eficiente, ´e poss´ıvel utilizar recursos de programa¸c˜ao. Nesta se¸c˜ao,
ser´a abordada a QM param´etrica, que permite criar quest˜oes com varia¸c˜oes de parˆametros. Isso
possibilita a cria¸c˜ao de in´umeras quest˜oes com facilidade e rapidez. Ser˜ao apresentados exemplos
de como criar quest˜oes param´etricas em Python, utilizando o MCTest como plataforma. Ser˜ao
abordadas diferentes t´ecnicas de parametriza¸c˜ao, permitindo ao professor escolher a que melhor se
adapta `a sua habilidade em programa¸c˜ao.
5.1.1 Um exemplo
Suponha que vocˆe seja um professor de matem´atica e deseje criar v´arias QMs sobre a f´ormula
da ´area do c´ırculo. Embora este exemplo seja bastante simples, ´e poss´ıvel generalizar para quest˜oes
mais complexas. Para alcan¸car esse objetivo, vocˆe pode utilizar o seguinte m´etodo em Python:
Com base no m´etodo apresentado no C´odigo 5.1, ´e poss´ıvel gerar diversas QMs sobre a ´area
do c´ırculo, com as seguintes varia¸c˜oes:
1
Levantamento das linguagens de programa¸c˜ao mais populares em 2023: survey.stackoverflow.co/2023 e
pypl.github.io/PYPL.html.
Francisco de Assis Zampirolli MCTest 72
5.1. QM PARAM
´
ETRICA
C´odigo: m´etodo area_circulo(raio)
1 import math
2
3 def area_circulo(raio):
4 return math.pi * raio ** 2
C´odigo 5.1: Exemplo de m´etodo para calcular a ´area de um c´ırculo.
1. A quest˜ao deve ter 4 alternativas de resposta;
2. O raio do c´ırculo deve variar aleatoriamente;
3. A alternativa correta deve ser calculada com base no valor do raio;
4. As demais alternativas erradas devem ter valores distintos.
A seguir, ser˜ao apresentados trˆes exemplos de quest˜oes para calcular a ´area do c´ırculo, com
raios escolhidos aleatoriamente:
1) Qual ´e a ´area do c´ırculo de raio 2?
A. 3,14 B. 6,28 C. 12,56 D. 25,12
2) Qual ´e a ´area do c´ırculo de raio 4?
A. 12,56 B. 25,12 C. 37,68 D. 50,24
3) Qual ´e a ´area do c´ırculo de raio 3?
A. 9,42 B. 12,56 C. 15,70 D. 18,84
Nos exemplos ilustrativos apresentados, o m´etodo area_circulo pode ser utilizado para
calcular a resposta correta para cada alternativa de resposta. A varia¸c˜ao aleat´oria do raio pode ser
realizada com a ajuda da biblioteca random do Python. Por fim, as alternativas erradas podem ser
calculadas, tamb´em utilizando o m´etodo area_circulo, com base no valor do raio, garantindo a n˜ao
repeti¸c˜ao de alternativas. A seguir, ser´a apresentado esse exemplo implementado no MCTest.
5.1.2 QM param´etrica no MCTest
´
E poss´ıvel parametrizar QMs no MCTest de v´arias maneiras, dependendo das habilidades de
programa¸c˜ao em Python do professor. Algumas dessas maneiras s˜ao apresentadas nesta se¸c˜ao.
Francisco de Assis Zampirolli MCTest 73
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Observa¸c˜oes:
1. A descri¸c˜ao da quest˜ao no MCTest (campo “Descri¸c˜ao” na Figura 4.7), que pode in-
cluir textos em L
A
T
E
X integrados com c´odigos em Python, ´e a parte mais importante
na cria¸c˜ao de quest˜oes param´etricas. A partir deste cap´ıtulo, n˜ao ser´a mais apresen-
tada uma captura de tela do formul´ario da quest˜ao, como foram realizados nos dois
cap´ıtulos anteriores. Para criar uma QM ou QT param´etrica basta alterar o parˆametro
“Param´etrica” de “N˜ao” para “Sim”, nas telas de cria¸c˜ao ou altera¸c˜ao de quest˜ao;
2. A parte mais complicada na cria¸c˜ao de quest˜oes param´etricas no MCTest ´e lidar com
poss´ıveis erros que podem ser retornados pelo MCTest ao tentar criar o PDF. Para tentar
resolver esse problema, foi criado um notebook no Google Colab, acessado ao clicar no
bot˜ao “Compile-Colab” nas telas de altera¸c˜ao de quest˜ao, como apresentado na Figura
4.7.
Exemplo 1
Veja uma descri¸c˜ao da quest˜ao param´etrica para calcular a ´area de um c´ırculo, implementada
no MCTest, no C´odigo 5.2. Todo o texto que aparece at´e a linha 6, contendo [[def:, far´a parte do
enunciado da quest˜ao e pode utilizar a sintaxe do L
A
T
E
X. As partes param´etricas deste enunciado
ocorrem nas instru¸c˜oes em Python entre as marca¸c˜oes [[code: e ]]. Geralmente, essas instru¸c˜oes
s˜ao vari´aveis definidas em Python entre as marca¸c˜oes [[def: e ]], neste exemplo, entre as linhas 6
e 30.
Marca¸c˜oes principais definidas no MCTest:
1. Instru¸c˜oes que podem representar a parte param´etrica do enunciado da quest˜ao ou das
alternativas s˜ao colocadas entre as marca¸c˜oes [[code: e ]], conforme exemplificado na
linha 1 do C´odigo 5.2;
2. Ap´os esse enunciado, um ´unico bloco de c´odigo em Python deve ser definido entre as
marca¸c˜oes [[def: e ]], como ilustrado entre as linhas 6 e 30 do exemplo. Todo o texto
ap´os esse bloco ´e descartado do enunciado da quest˜ao.
Destaque:
Em alguns casos, ocorre um erro no retorno da express˜ao regular para capturar as vari´aveis
ou instru¸c˜oes delimitadas por [[code: e ]]. Nesses casos, ´e necess´ario adicionar um espa¸co
antes de [[code: e ap´os ]]. O m´etodo get_code dispon´ıvel no GitHub em UtilsMCTest4.py
prop˜oe uma sugest˜ao de modifica¸c˜ao na express˜ao regular. No entanto, essa sugest˜ao apresenta
uma falha quando ocorre uma sequˆencia de ]] dentro de [[def: e ]]. Assim, para evitar
problemas, use sempre espa¸cos antes de [[code: e ap´os ]].
Francisco de Assis Zampirolli MCTest 74
5.1. QM PARAM
´
ETRICA
Se as marca¸c˜oes de in´ıcio e fim de bloco ou instru¸c˜oes aparecerem erroneamente, ou se houver
algum erro no c´odigo Python, mensagens de erro do compilador Python poder˜ao ser exibidas, mas
sem fornecer muitos detalhes sobre o erro espec´ıfico. Portanto, ´e fundamental testar o c´odigo Python
fora do MCTest, por exemplo, utilizando o notebook do Google Colab. Para acessar o notebook, basta
clicar no bot˜ao “Compile-Colab” nas telas de altera¸c˜ao de quest˜ao, como mostrado na Figura 4.7.
Experimente adicionar espa¸cos inesperados, como [[code: raio1]] ou [ [code:raio1]], salve e
clique em “Cria-PDF”. Isso permitir´a identificar erros e depurar a quest˜ao no MCTest, seguindo os
seguintes exemplos:
Alguns exemplos de erros comuns que podem ocorrer:
Experimente incluir esses erros, salve e crie o PDF para identificar e corrigir poss´ıveis problemas futuros:
1. [[code: raio1]] – espa¸co n˜ao esperado – retorna:
ERROR in [[code: ... ]]: unmatched ’]’ (<string>, line 1) raio1]]?
2. [[code:Raio1]] – “R” mai´usculo – retorna:
ERROR in [[code: ... ]]: name ’Raio1’ is not defined Raio1
3. Bloco de c´odigo no m´etodo area_circulo sem identa¸c˜ao correta – retorna:
ERROR in [[def: ... ]]: unexpected indent (<string>, line 7)
4. Sem a linha import math no m´etodo area_circulo – retorna:
ERROR in [[def: ... ]]: name ’math’ is not defined
5. Sem os “:” no final da linha do m´etodo area_circulo – retorna:
ERROR in [[def: ... ]]: invalid syntax (<string>, line 5)
6. [ [def: ou [[def : – espa¸co n˜ao esperado – retorna:
ERROR in [[code: ... ]]: name ’raio1’ is not defined raio1
Observe que, nesse sexto caso, o erro retornado ´e que a vari´avel raio1 n˜ao foi definida. Isso
ocorreu porque o MCTest n˜ao encontrou o bloco de c´odigo Python entre as marca¸c˜oes [[def: e ]].
Certifique-se de ter inclu´ıdo corretamente o bloco de c´odigo necess´ario para definir a vari´avel raio1
e verifique se n˜ao h´a erros de digita¸c˜ao ou formata¸c˜ao nas marca¸c˜oes. Essa etapa ´e crucial para
garantir o funcionamento correto da quest˜ao param´etrica no MCTest.
Exemplo 2
Quando as alternativas de uma QM param´etrica assumem apenas valores inteiros, ´e poss´ıvel
utilizar o m´etodo createWrongAnswers desenvolvido e disponibilizado no MCTest. No entanto,
algumas exigˆencias s˜ao necess´arias, como apresentado no C´odigo 5.3.
Primeiramente, ´e necess´ario criar uma vari´avel global chamada correctAnswer, conforme
mostrado na linha 12 do c´odigo. Em seguida, atribui-se a resposta correta a essa vari´avel, como
ilustrado na linha 14.
No que diz respeito `as alternativas da quest˜ao, ´e importante incluir na primeira alternativa
o conte´udo da linha 17, sem o coment´ario. Na segunda alternativa, deve-se utilizar o conte´udo da
linha 18, tamb´em sem o coment´ario. Na linha 18, o m´etodo ir´a gerar trˆes valores aleat´orios distintos
Francisco de Assis Zampirolli MCTest 75
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Quest˜ao:
1 Qual ´e a ´area do c´ırculo de raio [[code:raio1]]?
2
3 % coment´ario em LaTeX. Observe que a vari´avel raio1, ap´os "code:"
4 % foi definida na linha 15 abaixo
5
6 [[def: # coment´ario em Python
7 # o bloco de c´odigo Python deve sempre iniciar com a linha anterior!
8 import random
9
10 def area_circulo(raio): # m´etodo para calcular a ´area do c´ırculo
11 import math # necess´ario importar biblioteca(s) no m´etodo
12 return math.pi * raio ** 2
13
14 # lista de 4 raios aleat´orios entre 20 e 50
15 raio1,raio2,raio3,raio4 = random.sample(range(20,51), 4)
16
17 # formata as ´areas com 2 casas decimais
18 area1 = f"{area_circulo(raio1):.2f}"
19 area2 = f"{area_circulo(raio2):.2f}"
20 area3 = f"{area_circulo(raio3):.2f}"
21 area4 = f"{area_circulo(raio4):.2f}"
22
23 # incluir nas alternativas:
24 # [[code:area1]]
25 # [[code:area2]]
26 # [[code:area3]]
27 # [[code:area4]]
28
29 # o bloco de c´odigo Python deve sempre terminar com a pr´oxima linha
30 ]]
31 Todo o texto que aparece ap´os a linha anterior ´e ignorado.
C´odigo 5.2: Exemplo de QM param´etrica para calcular a ´area do c´ırculo.
entre correctAnswer−10 e correctAnswer+10.
´
E importante observar que, nesse caso, as quest˜oes geradas n˜ao s˜ao consideradas “´otimas”,
pois os estudantes podem deduzir que a resposta correta n˜ao est´a nos extremos dos valores fornecidos,
conforme ilustrado na Figura 5.1. Em QMs, o texto em verde (#2450) representa a identifica¸c˜ao da
quest˜ao no banco de dados. Azul (#0) representa a primeira alternativa no formul´ario de cria¸c˜ao
ou altera¸c˜ao da quest˜ao. As demais alternativas em vermelho (*1, *2 e *3) s˜ao as trˆes alternativas
erradas criadas pelo m´etodo createWrongAnswers.
5.2 QT param´etrica
Os conceitos apresentados anteriormente para as QMs param´etricas s˜ao aplic´aveis tamb´em
`as QTs param´etricas, com a distin¸c˜ao de que n˜ao h´a necessidade de considerar as alternativas da
quest˜ao. Em vez disso, ´e poss´ıvel definir uma ´unica resposta correta, se necess´ario. Nesta se¸c˜ao,
Francisco de Assis Zampirolli MCTest 76
5.2. QT PARAM
´
ETRICA
Quest˜ao:
1 Qual ´e a ´area do c´ırculo de raio [[code:raio1]]?
2
3 [[def:
4 import random
5
6 def area_circulo(raio):
7 import math # necess´ario importar biblioteca(s) no m´etodo
8 return math.pi * raio ** 2
9
10 raio1 = random.randint(10, 51) # sorteia valor entre 10 e 50
11
12 global correctAnswer # vari´avel necess´aria para usar o m´etodo
13 # createWrongAnswers, a resposta deve ter valor inteiro
14 correctAnswer = int(area_circulo(raio1))
15
16 # incluir nas alternativas da quest~ao:
17 # [[code:correctAnswer]] % primeira alternativa (sempre) correta
18 # [[code:createWrongAnswers([3,10])]] % cria 3 alter. erradas +/- 10
19 ]]
C´odigo 5.3: Exemplo de QM param´etrica para calcular a ´area do c´ırculo, utilizando o m´etodo
createWrongAnswers.
Figura 5.1: Recorte do PDF gerado para a quest˜ao definida no C´odigo 5.3.
ser˜ao fornecidos trˆes exemplos adicionais da quest˜ao de teste de mesa introduzida no cap´ıtulo anterior
(Se¸c˜ao 4.3 – Quest˜ao dissertativa (QT)), agora sob a perspectiva param´etrica.
No primeiro exemplo, foi criada uma quest˜ao com trˆes parˆametros aleat´orios. No segundo
exemplo, foi adicionado um gabarito para esses parˆametros aleat´orios, implementando a solu¸c˜ao do
pseudoc´odigo apresentado em Python e adicionando comandos print em locais estrat´egicos para
imprimir a tabela com o gabarito. Por fim, no ´ultimo exemplo, foi utilizado um recurso avan¸cado de
rastreamento de instru¸c˜oes, m´etodos e exce¸c˜oes. Esses exemplos mostram o poder da parametriza¸c˜ao
Francisco de Assis Zampirolli MCTest 77
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
no MCTest para criar quest˜oes personalizadas e detalhadas.
5.2.1 Exemplo 1 – Teste de mesa
Nesta se¸c˜ao, ser´a abordada a parametriza¸c˜ao da quest˜ao de teste de mesa ilustrada na Fi-
gura 5.2 e apresentada no C´odigo 5.4, para exemplificar o processo. As partes param´etricas est˜ao
localizadas nas linhas 7, 8 e 9 da quest˜ao, com os parˆametros N1, N2 e N3, cujos valores s˜ao defi-
nidos aleatoriamente no bloco de c´odigo Python nas linhas 38, 39 e 40, respectivamente. O PDF
correspondente a essa quest˜ao ´e apresentado na Figura 5.2.
Figura 5.2: Recorte do PDF gerado para a quest˜ao definida no C´odigo 5.4.
5.2.2 Exemplo 2 – Teste de mesa e gabarito
´
E poss´ıvel aprimorar o exemplo anterior expandindo-o para gerar o gabarito correspondente a
cada valor aleat´orio gerado para as vari´aveis N1, N2 e N3. Para essa finalidade, foi criado um m´etodo
em Python que implementa o algoritmo da quest˜ao. Devido `a quantidade de linhas na descri¸c˜ao
dessa quest˜ao, os c´odigos correspondentes foram divididos e est˜ao dispon´ıveis nos fragmentos dos
C´odigos 5.5 e 5.6.
Francisco de Assis Zampirolli MCTest 78
5.2. QT PARAM
´
ETRICA
Quest˜ao:
1 Preencha a tabela com os valores corretos das vari´aveis contador e soma
2 em cada itera¸c~ao do la¸co. Al´em disso, considere os n´umeros das linhas do
3 c´odigo para preencher a tabela, a fim de facilitar a refer^encia. Considere
4 inicialmente N=[[code:N1]], contador=[[code:N2]] e soma=[[code:N3]].
5
6 \begin{verbatim}
7 1. Inicializar a vari´avel N com [[code:N1]]
8 2. Inicializar a vari´avel contador com [[code:N2]]
9 3. Inicializar a vari´avel soma com [[code:N3]]
10 4. Enquanto contador <= N fa¸ca
11 5. Se contador ´e par ent~ao
12 6. soma = soma + contador
13 7. Sen~ao
14 8. soma = soma - contador
15 9. Fim se
16 10. Incrementar contador em 1
17 11. Fim enquanto
18 12. Imprimir o valor da vari´avel soma
19 \end{verbatim}
20
21 \begin{tabular}{|c|c|c|c|}
22 \hline
23 \textbf{linha} & \textbf{contador} & \textbf{soma} \\
24 \hline
25 & & \\ \hline
26 & & \\ \hline
27 & & \\ \hline
28 & & \\ \hline
29 & & \\ \hline
30 & & \\ \hline
31 & & \\ \hline
32 & & \\ \hline
33 & & \\ \hline
34 \end{tabular}
35
36 [[def:
37 import random
38 N1 = random.randint(7,16)
39 N2 = random.randint(1,6)
40 N3 = random.randint(1,5)
41 ]]
C´odigo 5.4: Exemplo simples de descri¸c˜ao de QT param´etrica para teste de mesa.
Nesta nova vers˜ao, o gabarito foi adicionado ao PDF utilizando as linhas 36 a 40 do C´odigo
5.5. Na linha 36, azul e o tamanho small foram definidos para a vari´avel tabela, conforme mostrado
na Figura 5.3. Caso o professor n˜ao deseje exibir esse gabarito na folha de atividade, basta utilizar a
cor white. Na linha 38, a vari´avel tabela, sendo uma string, ´e definida na segunda parte do c´odigo,
no C´odigo 5.6.
Nesta vers˜ao, foi criado o m´etodo gerar_gabarito para retornar a tabela atualizada para
Francisco de Assis Zampirolli MCTest 79
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
incluir as linhas espec´ıficas do algoritmo com os espa¸cos correspondentes para preencher com os
valores corretos das vari´aveis contador e soma.
O trecho entre as linhas 27 e 31 do C´odigo 5.6 apresenta um exemplo de uso do c´odigo, no
qual s˜ao gerados valores aleat´orios para N1, N2 e N3 at´e que a tabela gerada tenha entre 10 e 15
linhas (exclusivamente). Esse trecho ser´a analisado linha por linha:
while True: isso cria um loop infinito que ser´a executado at´e que a condi¸c˜ao na linha 30 seja
satisfeita e o loop seja interrompido na linha 31;
N1, N2, N3 = random.sample(range(4, 20), 3): aqui ´e usado o m´etodo sample da biblioteca
random para gerar trˆes valores aleat´orios, sem repeti¸c˜ao, no intervalo de 4 a 19. Esses valores
s˜ao atribu´ıdos `as vari´aveis N1, N2 e N3;
tabela = gerar_gabarito(N1, N2, N3): o m´etodo ´e chamado gerar_gabarito passando os va-
lores aleat´orios N1, N2 e N3 como argumentos. Esse m´etodo retorna a tabela formatada com os
valores corretos das vari´aveis contador e soma;
if 10 < len(tabela.split('\n')) < 15: break: aqui ´e verificado o n´umero de linhas na tabela
gerada. Se o n´umero de linhas estiver entre 10 e 15 (exclusivamente), a condi¸c˜ao ´e satisfeita e
o loop ´e interrompido com o uso do comando break.
Dessa forma, esse trecho de c´odigo permite gerar valores aleat´orios para as vari´aveis N1, N2 e
N3 repetidamente at´e que a tabela gerada tenha o n´umero de linhas desejado. Isso garante que todas
as varia¸c˜oes tenham dificuldades de resolu¸c˜ao semelhantes, testando diferentes casos. Neste exemplo
simples, ´e poss´ıvel gerar 15 ∗ 15 ∗ 15 varia¸c˜oes, mas apenas aquelas que resultarem em tabelas com
11 a 14 linhas ser˜ao consideradas.
5.2.3 Exemplo 3 – Teste de mesa e gabarito com settrace
Um exemplo avan¸cado de teste de mesa ´e o uso do m´etodo settrace em Python. settrace
´e um m´etodo da biblioteca sys que permite definir um rastreador de a¸c˜oes ocorridas no c´odigo. Ele
´e usado para registrar um rastreamento personalizado que ser´a chamado sempre que ocorrer uma
chamada de instru¸c˜ao, retorno de m´etodo ou exce¸c˜ao.
Ao chamar sys.settrace, ´e poss´ıvel fornecer um rastreamento personalizado que ser´a in-
vocado automaticamente durante a execu¸c˜ao do programa. Esse m´etodo de rastreamento recebe os
argumentos:
frame: ´e um objeto que representa o quadro de vari´aveis atual em uma pilha;
event: ´e uma string que indica o tipo de evento que ocorreu. Pode ser call (chamada de m´etodo),
return (retorno de m´etodo) ou exception (exce¸c˜ao);
arg: ´e um argumento adicional que depende do tipo de evento. Para eventos de chamada e retorno,
´e sempre None. Para eventos de exce¸c˜ao, ´e uma tupla contendo informa¸c˜oes sobre a exce¸c˜ao
disparada.
Francisco de Assis Zampirolli MCTest 80
5.2. QT PARAM
´
ETRICA
Quest˜ao:
1 Preencha a tabela com os valores corretos das vari´aveis contador e soma
2 em cada itera¸c~ao do la¸co. Al´em disso, considere os n´umeros das linhas do
3 c´odigo para preencher a tabela, a fim de facilitar a refer^encia. Considere
4 inicialmente N=[[code:N1]], contador=[[code:N2]] e soma=[[code:N3]].
5
6 \begin{verbatim}
7 1. Inicializar a vari´avel N com [[code:N1]]
8 2. Inicializar a vari´avel contador com [[code:N2]]
9 3. Inicializar a vari´avel soma com [[code:N3]]
10 4. Enquanto contador <= N fa¸ca
11 5. Se contador ´e par ent~ao
12 6. soma = soma + contador
13 7. Sen~ao
14 8. soma = soma - contador
15 9. Fim se
16 10. Incrementar contador em 1
17 11. Fim enquanto
18 12. Imprimir o valor da vari´avel soma
19 \end{verbatim}
20
21 \begin{tabular}{|c|c|c|c|}
22 \hline
23 \textbf{linha} & \textbf{contador} & \textbf{soma} \\
24 \hline
25 & & \\ \hline
26 & & \\ \hline
27 & & \\ \hline
28 & & \\ \hline
29 & & \\ \hline
30 & & \\ \hline
31 & & \\ \hline
32 & & \\ \hline
33 & & \\ \hline
34 \end{tabular}
35
36 {\color{blue} {\small
37 \begin{verbatim}
38 [[code:tabela]]
39 \end{verbatim}
40 }}
C´odigo 5.5: Exemplo pr´atico de teste de mesa param´etrico mostrando o gabarito – Parte 1: Descri¸c˜ao
de quest˜ao.
O m´etodo de rastreamento personalizado pode realizar v´arias a¸c˜oes, como exibir informa¸c˜oes
sobre as chamadas de m´etodos, coletar dados de execu¸c˜ao, fazer an´alises dinˆamicas, entre outros.
´
E
uma ferramenta poderosa para depurar e analisar o fluxo de execu¸c˜ao de um programa Python.
´
E importante mencionar que o uso de sys.settrace pode ter um impacto significativo no
desempenho do programa, uma vez que o m´etodo de rastreamento ´e chamado em cada evento de cha-
mada, retorno ou exce¸c˜ao. Portanto, ´e recomendado us´a-lo com cuidado e apenas quando necess´ario
Francisco de Assis Zampirolli MCTest 81
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Quest˜ao:
1 [[def:
2 import random
3
4 def gerar_gabarito(N1, N2, N3):
5 s = "Linha\tContador\tSoma\n"
6 s += "--------------------\n"
7
8 contador = N2
9 s += f" 2 {contador:7d}\n"
10 soma = N3
11 s += f" 3 {contador:7d} {soma:6d}\n"
12
13 while contador <= N1:
14 if contador % 2 == 0:
15 soma = soma + contador
16 s += f" 6 {contador:7d} {soma:6d}\n"
17 else:
18 soma = soma - contador
19 s += f" 8 {contador:7d} {soma:6d}\n"
20
21 contador += 1
22 s += f" 10 {contador:7d} {soma:6d}\n"
23
24 return s
25
26 # Exemplo de uso:
27 while True:
28 N1, N2, N3 = random.sample(range(4, 20), 3)
29 tabela = gerar_gabarito(N1, N2, N3)
30 if 10 < len(tabela.split('\n')) < 15:
31 break
32 ]]
C´odigo 5.6: Exemplo pr´atico de teste de mesa param´etrico mostrando o gabarito – Parte 2: Bloco
de c´odigo em Python.
para fins de depura¸c˜ao ou an´alise.
Exemplo de uso do m´etodo settrace para rastreamento de c´odigo
O C´odigo 5.7 define o m´etodo trace para ser chamada sempre que ocorrer um evento es-
pec´ıfico, como a execu¸c˜ao de uma linha de c´odigo. Neste m´etodo, as informa¸c˜oes relevantes s˜ao
impressas no console, ap´os a sua execu¸c˜ao, como o evento, o n´umero da linha e as vari´aveis locais.
Em seguida, o m´etodo gerar_gabarito ´e definido para calcular a soma ou subtra¸c˜ao com contador
par e ´ımpar, respectivamente, em um determinado intervalo. O m´etodo ´e chamado com os argumen-
tos 9, 7 e 6 para os parˆametros N1, contador e soma, respectivamente. Por fim, o m´etodo trace ´e
desativado na linha 16. Este c´odigo ´e um exemplo de como usar o recurso de rastreamento em Python
para depurar o c´odigo e entender como as vari´aveis s˜ao alteradas durante a execu¸c˜ao. O c´odigo rastre-
Francisco de Assis Zampirolli MCTest 82
5.2. QT PARAM
´
ETRICA
ado n˜ao possui sa´ıda, mas o rastreamento pode ser modificado para imprimir informa¸c˜oes adicionais
ou para armazenar informa¸c˜oes em um arquivo de log.
Quest˜ao:
1 def trace(frame, event, arg_unused):
2 print(event, frame.f_lineno, frame.f_locals)
3 return trace
4
5 def gerar_gabarito(N1, contador, soma):
6 while contador <= N1:
7 if contador % 2 == 0:
8 soma = soma + contador
9 else:
10 soma = soma - contador
11 contador += 1
12
13 import sys
14 sys.settrace(trace)
15 gerar_gabarito(9, 7, 6)
16 sys.settrace(None)
C´odigo 5.7: Exemplo de uso de sys.settrace.
Ao salvar o C´odigo 5.7 no arquivo trace.py e execut´a-lo no console do computador usando
o comando python trace.py, a sa´ıda resultante ser´a semelhante ao apresentado a seguir:
Sa´ıda do C´odigo 5.7:
1 call 7 {'N1': 9, 'contador': 7, 'soma': 6}
2 line 8 {'N1': 9, 'contador': 7, 'soma': 6}
3 line 9 {'N1': 9, 'contador': 7, 'soma': 6}
4 line 12 {'N1': 9, 'contador': 7, 'soma': 6}
5 line 13 {'N1': 9, 'contador': 7, 'soma': -1}
6 line 8 {'N1': 9, 'contador': 8, 'soma': -1}
7 line 9 {'N1': 9, 'contador': 8, 'soma': -1}
8 line 10 {'N1': 9, 'contador': 8, 'soma': -1}
9 line 13 {'N1': 9, 'contador': 8, 'soma': 7}
10 line 8 {'N1': 9, 'contador': 9, 'soma': 7}
11 line 9 {'N1': 9, 'contador': 9, 'soma': 7}
12 line 12 {'N1': 9, 'contador': 9, 'soma': 7}
13 line 13 {'N1': 9, 'contador': 9, 'soma': -2}
14 line 8 {'N1': 9, 'contador': 10, 'soma': -2}
15 return 8 {'N1': 9, 'contador': 10, 'soma': -2}
´
E poss´ıvel formatar essa sa´ıda e gerar uma quest˜ao completa no MCTest, conforme demons-
trado a seguir.
Francisco de Assis Zampirolli MCTest 83
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Teste de mesa com rastreamento de c´odigo usando settrace
Neste terceiro exemplo de teste de mesa param´etrico, ´e utilizado o m´etodo settrace, da
biblioteca sys, para gerar o gabarito. Este exemplo foi inspirado no artigo de Teubl e Zampirolli
(2023). A vantagem dessa vers˜ao em rela¸c˜ao `a anterior ´e que pode-se criar o gabarito sem precisar
incluir v´arios comandos print na implementa¸c˜ao do pseudoc´odigo, tornando o processo mais gen´erico
para diferentes exemplos de teste de mesa. A seguir, ser˜ao adaptadas as vers˜oes anteriores, criando
um c´odigo em Python que faz parte do enunciado da quest˜ao, apresentado no C´odigo 5.8. No entanto,
tamb´em ´e poss´ıvel ter utilizado um pseudoc´odigo.
A parte com diferen¸cas significativas em rela¸c˜ao `as anteriores ´e apresentada no C´odigo 5.9.
Nessa parte, o m´etodo trace ´e adaptado, conforme apresentado no C´odigo 5.7, para formatar a
tabela com o gabarito. Dentro desse m´etodo, ´e verificado se o evento atual ´e uma linha de c´odigo
(event == 'line'). Em caso afirmativo, o m´etodo obt´em o n´umero da linha atual (lineno) e o
dicion´ario de vari´aveis locais (locals_dict) do frame atual.
Em seguida, o m´etodo obt´em os valores das vari´aveis contador e soma do dicion´ario de
vari´aveis locais, usando o m´etodo get. Esses valores s˜ao usados para criar uma string formatada,
armazenada em uma lista chamada output.
Por fim, o m´etodo retorna a si (return trace), o que permite que seja chamado novamente
no pr´oximo evento de linha. Esse processo se repete at´e que a execu¸c˜ao do programa seja conclu´ıda
ou at´e encontrar o comando sys.settrace(None), que encerra o rastreamento.
Al´em disso, o c´odigo apresenta o m´etodo gerar_gabarito, semelhante ao apresentado no
C´odigo 5.7. Em seguida, o trecho de c´odigo inicia um loop infinito que realiza as seguintes a¸c˜oes:
gera trˆes n´umeros aleat´orios distintos em um intervalo espec´ıfico, inicializa uma lista vazia chamada
output e adiciona cabe¸calhos e uma linha de separa¸c˜ao `a lista. Em seguida, o rastreamento do
c´odigo ´e iniciado com sys.settrace(trace), o m´etodo gerar_gabarito ´e executado com os valores
gerados e o rastreamento ´e finalizado com sys.settrace(None). A lista output ´e convertida em
uma ´unica string chamada tabela. O c´odigo verifica se o n´umero de linhas na tabela est´a entre 11
e 14. Se a condi¸c˜ao for satisfeita, o loop ´e interrompido e o programa ´e finalizado. Essa estrutura
de repeti¸c˜ao permite gerar e obter uma tabela com um n´umero espec´ıfico de linhas no intervalo
desejado.
5.3 QT param´etrica, com c´odigo
Nesta se¸c˜ao, s˜ao abordadas QTs param´etricas que envolvem c´odigo, introduzindo o ambiente
Moodle e VPL. Em seguida, ´e apresentado um exemplo de atividade que combina essas duas fer-
ramentas. Posteriormente, ´e fornecido um exemplo de atividade que utiliza a combina¸c˜ao MCTest,
Moodle e VPL.
Francisco de Assis Zampirolli MCTest 84
5.3. QT PARAM
´
ETRICA, COM C
´
ODIGO
Quest˜ao:
1 Preencha a tabela com os valores corretos das vari´aveis contador e soma
2 em cada itera¸c~ao do la¸co, para valores de entrada espec´ıficos do m´etodo.
3 Al´em disso, considere os n´umeros das linhas do c´odigo para preencher a
4 tabela, a fim de facilitar a refer^encia. Considere inicialmente
5 N1=[[code:N1]], contador=[[code:N2]] e soma=[[code:N3]].
6
7 \begin{verbatim}
8 1. def gerar_gabarito(N1, contador, soma):
9 2. while contador <= N1:
10 3. if contador % 2 == 0:
11 4. soma = soma + contador
12 5. else:
13 6. soma = soma - contador
14 7. contador += 1
15 \end{verbatim}
16
17 \begin{tabular}{|c|c|c|c|}
18 \hline
19 \textbf{linha} & \textbf{contador} & \textbf{soma} \\
20 \hline
21 & & \\ \hline
22 & & \\ \hline
23 & & \\ \hline
24 & & \\ \hline
25 & & \\ \hline
26 & & \\ \hline
27 & & \\ \hline
28 & & \\ \hline
29 & & \\ \hline
30 \end{tabular}
31
32 {\color{blue} {\small
33 \begin{verbatim}
34 [[code:tabela]]
35 \end{verbatim}
36 }}
C´odigo 5.8: Exemplo pr´atico de teste de mesa param´etrico utilizando sys.settrace – Parte 1:
Descri¸c˜ao de quest˜ao.
5.3.1 Introdu¸c˜ao ao Moodle e ao VPL
O Moodle ´e uma plataforma de aprendizagem online amplamente utilizada em institui¸c˜oes
de ensino em todo o mundo. Ela oferece recursos abrangentes para apoiar o ensino e a aprendiza-
gem, incluindo a capacidade de criar e disponibilizar atividades interativas para os estudantes. Um
dos plugins populares do Moodle ´e o VPL (Virtual Programming Lab) (PINO, 2012), desenvolvido
especialmente para a corre¸c˜ao autom´atica de exerc´ıcios de programa¸c˜ao (EPs).
O plugin VPL permite que os professores criem EPs e ofere¸cam aos estudantes um ambiente
virtual para escrever e testar seu c´odigo. Essa ferramenta ´e particularmente ´util em disciplinas de
Francisco de Assis Zampirolli MCTest 85
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Quest˜ao:
1 [[def:
2 import random, sys
3 global trace
4
5 def trace(frame, event, arg_unused):
6 global output
7 if event == 'line':
8 lineno = frame.f_lineno # pega a linha
9 locals_dict = frame.f_locals # pega todas as vari´aveis locais
10 contador = locals_dict.get('contador') # pega a vari´avel contador
11 soma = locals_dict.get('soma') # pega a vari´avel soma
12 output.append(f"{lineno-16:3d} {contador:7d} {soma:7d}\n")
13 # armazena a string na lista
14 return trace
15
16 def gerar_gabarito(N1, soma, contador):
17 while contador <= N1:
18 if contador % 2 == 0:
19 soma = soma + contador
20 else:
21 soma = soma - contador
22 contador += 1
23
24 # Exemplo de uso:
25 while True:
26 N1, N2, N3 = random.sample(range(4, 20), 3)
27 output = []
28 output.append("Linha Contador Soma\n")
29 output.append("---------------------\n")
30 sys.settrace(trace) # Inicializa o rastreamento
31 gerar_gabarito(N1, N2, N3)
32 sys.settrace(None) # Finaliza o rastreamento
33 tabela = ''.join(output) # converte a lista de strings em uma string
34 if 10 < len(tabela.split('\n')) < 15:
35 break
36 ]]
C´odigo 5.9: Exemplo pr´atico de teste de mesa param´etrico utilizando sys.settrace – Parte 2: Bloco
de c´odigo em Python.
programa¸c˜ao, onde os estudantes precisam praticar e aprimorar suas habilidades de codifica¸c˜ao.
O VPL oferece recursos avan¸cados de avalia¸c˜ao e corre¸c˜ao autom´atica. Os estudantes podem
enviar seus c´odigos para o sistema, e o VPL executar´a testes automatizados para verificar se o c´odigo
produz os resultados esperados. Os resultados s˜ao fornecidos instantaneamente, permitindo que os
estudantes identifiquem onde cometeram erros e onde podem melhorar.
Al´em disso, o VPL permite que os professores configurem casos de teste personalizados para
verificar a corre¸c˜ao dos programas dos estudantes. Isso significa que os professores podem criar
uma variedade de exerc´ıcios e testes para avaliar a compreens˜ao e a habilidade dos estudantes em
diferentes aspectos da programa¸c˜ao.
Francisco de Assis Zampirolli MCTest 86
5.3. QT PARAM
´
ETRICA, COM C
´
ODIGO
O uso do VPL no Moodle traz diversos benef´ıcios. Ele promove a pr´atica ativa e produz
feedback imediato aos estudantes, permitindo que eles experimentem e aprendam com seus erros.
Al´em disso, o VPL agiliza o processo de corre¸c˜ao, liberando mais tempo para que os professores se
concentrem em fornecer orienta¸c˜ao e apoio individualizado aos estudantes.
5.3.2 Quest˜ao com exerc´ıcio de programa¸c˜ao no Moodle+VPL
Nesta se¸c˜ao, ser´a apresentada uma QT que requer a solu¸c˜ao utilizando o plugin VPL do
Moodle. Esse tipo de quest˜ao ´e definido neste livro como EP. O estudante ´e solicitado a inserir o
c´odigo na atividade correspondente do Moodle, utilizando uma linguagem de programa¸c˜ao definida
pelo professor.
´
E importante destacar que a quest˜ao apresentada a seguir n˜ao ´e param´etrica, embora
possua diferentes casos de teste.
Um exemplo de atividade Moodle+VPL
Escreva um programa em Python para calcular o fatorial de um n´umero inteiro fornecido
pelo usu´ario.
Instru¸c˜oes
Aqui est´a um exemplo de quest˜ao de EP no Moodle usando a linguagem Python para calcular
o fatorial de um n´umero:
1. Acesse o Moodle e v´a para a disciplina em que deseja adicionar a quest˜ao;
2. Clique em “Atividades” e selecione “Laborat´orio Virtual de Programa¸c˜ao” para criar uma nova
atividade VPL;
3. Preencha os detalhes da atividade, como nome, descri¸c˜ao e pontua¸c˜ao. Finalize salvando e mos-
trando a atividade. Em seguida, clique no ´ıcone de engrenagem para acessar as configura¸c˜oes
avan¸cadas da atividade e siga os pr´oximos passos;
4. Na se¸c˜ao “Op¸c˜oes de execu¸c˜ao”, selecione a linguagem “Python” como “Script de execu¸c˜ao”,
deixando apenas “Avaliar” e “Atribui¸c˜ao autom´atica de nota” como “Sim”, por exemplo;
5. Na se¸c˜ao “Casos de teste”, vocˆe pode definir os casos de teste da seguinte maneira:
Francisco de Assis Zampirolli MCTest 87
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Arquivo com os casos de teste:
case=caso1
input=5
output="O fatorial de 5 ´e 120."
output="O fatorial de 5 ´e 120"
case=caso2
input=10
output="O fatorial de 10 ´e 3628800."
output="O fatorial de 10 ´e 3628800"
6. Na se¸c˜ao “Arquivo de execu¸c˜ao”, vocˆe pode deixar em branco, pois n˜ao ´e necess´ario altera¸c˜oes
neste exemplo.
O C´odigo 5.10 apresenta um m´etodo em Python para calcular o fatorial de um n´umero. O
fatorial de um n´umero ´e o produto de todos os n´umeros inteiros positivos de 1 at´e esse n´umero.
O m´etodo fatorial(n) recebe um n´umero n como parˆametro. Ele verifica se n ´e igual a
zero. Se for, retorna 1, pois o fatorial de 0 ´e definido como 1. Caso contr´ario, o m´etodo calcula o
fatorial de n multiplicando n pelo fatorial de n-1 (ou seja, o fatorial do n´umero anterior). Isso ´e feito
recursivamente at´e chegar ao caso base do fatorial de 0.
Em seguida, o programa solicita ao usu´ario que digite um n´umero inteiro. Esse n´umero
´e armazenado na vari´avel numero. O programa ent˜ao chama o m´etodo fatorial(numero) para
calcular o fatorial desse n´umero e armazena o resultado na vari´avel resultado. Por fim, o programa
exibe a frase "O fatorial de" seguida do n´umero digitado pelo usu´ario e do resultado calculado.
C´odigo: Exemplo de uso de atividade Moodle+VPL
1 def fatorial(n):
2 if n == 0:
3 return 1
4 else:
5 return n * fatorial(n - 1)
6
7 numero = int(input("Digite um n´umero inteiro: "))
8 resultado = fatorial(numero)
9 print("O fatorial de", numero, "´e", resultado, ".")
C´odigo 5.10: Programa em Python para c´alculo do fatorial.
Avalia¸c˜ao
A pontua¸c˜ao para esta quest˜ao ser´a baseada no programa fornecido pelo estudante para ler
as entradas, calcular o fatorial e produzir as sa´ıdas esperadas para os casos de teste fornecidos. Se
Francisco de Assis Zampirolli MCTest 88
5.3. QT PARAM
´
ETRICA, COM C
´
ODIGO
o estudante fornecer apenas uma sa´ıda fixa, como print("O fatorial de 5 ´e 120."), a quest˜ao
receber´a uma nota de 50%.
Portanto, ´e importante incluir uma variedade de casos de teste para avaliar corretamente o
programa e identificar poss´ıveis tentativas de trapassa. Quanto mais casos de teste forem utilizados,
melhor ser´a a avalia¸c˜ao, uma vez que aumenta a chance de identificar solu¸c˜oes corretas e detectar
respostas fixas ou incorretas.
5.3.3 Quest˜ao com exerc´ıcio de programa¸c˜ao no MCTest+Moodle+VPL
Esse tipo de quest˜ao, utilizando EP no MCTest+Moodle+VPL, apresenta dois desafios devido
`a falta de integra¸c˜ao atual entre os bancos de dados do MCTest e do Moodle.
Primeiro desafio
O primeiro desafio consiste em definir a varia¸c˜ao da atividade para cada estudante, uma vez
que as atividades podem ser individuais. Para solucionar esse problema, o MCTest gera um arquivo
no formato CSV chamado students_variations.csv, contendo o nome do estudante e a varia¸c˜ao
atribu´ıda. Esse arquivo deve ser inserido no campo “Arquivo de execu¸c˜ao” da atividade VPL no
Moodle. Al´em disso, existem v´arios outros arquivos dispon´ıveis no GitHub, detalhados em cap´ıtulos
futuros deste livro, que tamb´em devem ser inclu´ıdos nesse campo. A vers˜ao utilizada neste livro est´a
na pasta V10-new selector do GitHub.
Aten¸c˜ao:
´
E importante destacar que a busca pela varia¸c˜ao do estudante deve ser realizada pelo nome
e sobrenome do estudante no arquivo students_variations.csv, sendo necess´ario que esses
dados sejam idˆenticos tanto no MCTest quanto no Moodle. Em vers˜oes recentes do VPL,
tamb´em ´e poss´ıvel utilizar o e-mail do estudante, o que representar´a uma melhoria futura
nesse processo.
Segundo desafio
O segundo desafio, ainda mais cr´ıtico, envolve a defini¸c˜ao dos casos de teste para cada varia¸c˜ao
da quest˜ao. Esse desafio ´e enfrentado atrav´es da gera¸c˜ao do arquivo linker.json pelo MCTest, no
formato JSON. Esse arquivo cont´em as varia¸c˜oes da atividade, incluindo as quest˜oes e seus respectivos
casos de teste. Nesta se¸c˜ao, ser´a abordado o processo de cria¸c˜ao de uma QT param´etrica de EP
no MCTest+Moodle+VPL. No entanto, ´e importante ressaltar que todos os detalhes desse processo
ser˜ao abordados em cap´ıtulos futuros, uma vez que os arquivos CSV e JSON s˜ao gerados ao criar
um exame no MCTest, especificamente no Cap´ıtulo 10 – Exames com MCTest+Moodle+VPL.
Francisco de Assis Zampirolli MCTest 89
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Um exemplo simples de c´alculo de parcelas sem juros
O VPL considera cada linha como uma entrada de dados de um programa. No Python, essa
entrada ´e capturada utilizando o comando input(), que recebe um texto. Por exemplo, o texto
"5003.9\n10\n" cont´em duas entradas. Para uma quest˜ao de parcelas sem juros, ´e poss´ıvel ter duas
entradas e uma sa´ıda de dados no C´odigo 5.11 em Python, que pode ser testado em uma atividade
VPL no Moodle. Nesse exemplo, o programa captura o valor total e o n´umero de parcelas informados
C´odigo: Exemplo de uso de atividade Moodle+VPL – Parcelas
1 valor_total = float(input())
2 parcelas = int(input())
3
4 valor_parcela = valor_total / parcelas
5
6 print(f"{valor_parcela:.2f}")
C´odigo 5.11: Programa em Python para c´alculo de parcelas.
pelo usu´ario e calcula o valor de cada parcela. Em seguida, exibe o resultado utilizando o comando
print, formatando com duas casas decimais.
O MCTest pode gerar automaticamente diversos casos de teste, seguindo uma estrutura
espec´ıfica de dicion´ario de dados. Por exemplo, a seguir est˜ao apresentados dois casos de teste
criados no MCTest para o exemplo de c´alculo de parcelas sem juros:
Dicion´ario usado no MCTest contendo os casos de teste:
moodle_cases = {
"input": ["5009.4\n10\n", "5003.9\n10\n"],
"output": ["500.94", "500.39"]
}
Esse dicion´ario ser´a formatado no arquivo linker.json, que ser´a tratado por v´arios arquivos
que dever˜ao ser inseridos em “Arquivos de execu¸c˜ao”, em uma atividade VPL no Moodle, que pode
ser equivalente aos seguintes casos de teste.
Arquivo com os casos de teste:
case=caso1
input=5009.4
10
output=500.94
case=caso2
input=5003.9
10
output=500.39
Francisco de Assis Zampirolli MCTest 90
5.3. QT PARAM
´
ETRICA, COM C
´
ODIGO
Para realizar essa tarefa, na descri¸c˜ao da quest˜ao no MCTest, ´e necess´ario incluir um trecho
de c´odigo utilizando o comando comment que contenha apenas o dicion´ario de casos de teste. Esse
trecho indica ao gerador MCTest para incluir os casos de teste no arquivo linker.json, que ser´a
importado no Moodle.
Criando uma QT param´etrica para integra¸c˜ao MCTest+Moodle+VPL
A seguir, ser´a apresentado um exemplo completo de c´odigo para essa quest˜ao de parcelas
sem juros, onde as vari´aveis e instru¸c˜oes em Python est˜ao entre os marcadores [[code: e ]]. Essas
vari´aveis devem ser criadas no bloco de c´odigo Python definido entre os marcadores [[def: e ]].
Para criar quest˜oes param´etricas, n˜ao apenas nos casos de teste, ´e necess´ario incluir vari´aveis
aleat´orias no enunciado da quest˜ao entre [[code: e ]]. No exemplo das parcelas sem juros, foi
inclu´ıdo no enunciado o n´umero de parcelas, sendo utilizado apenas o valor da compra como entrada
para o caso de teste.
Aten¸c˜ao:
Para garantir que cada estudante receba uma quest˜ao diferente, ´e necess´ario incluir o maior
n´umero poss´ıvel de vari´aveis aleat´orias no enunciado. Por exemplo, ao lidar com um problema
de parcelas sem juros, ´e poss´ıvel adicionar vari´aveis aleat´orias como o nome do cliente, o
produto em quest˜ao, entre outros. Al´em disso, ´e importante que esses dados sejam impressos
na sa´ıda esperada para os casos de teste. Caso contr´ario, um mesmo c´odigo pode funcionar
para todas as varia¸c˜oes de atividade, ignorando a necessidade de m´ultiplos casos de teste.
No C´odigo 5.12, ´e apresentado o enunciado da quest˜ao, incluindo a parcela como parte pa-
ram´etrica. Tamb´em ´e inclu´ıdo o primeiro caso de teste como exemplo no enunciado. Essa primeira
parte ´e finalizada com o bloco comment, necess´ario para o MCTest entender que se trata de uma
quest˜ao onde o estudante deve resolver como uma atividade VPL no Moodle.
A segunda parte da quest˜ao apresentada no C´odigo 5.12 ´e fornecida no C´odigo 5.13, que
cont´em o bloco de c´odigo Python que define a parte param´etrica, incluindo o dicion´ario moodle_cases
que cont´em os casos de teste.
O C´odigo 5.13 consiste em quatro passos principais. No Passo 1, um n´umero inteiro aleat´orio
entre 8 e 19 ´e gerado, representando o n´umero de parcelas em uma QT param´etrica. No Passo 2,
os casos de teste s˜ao criados. Para cada caso de teste, um valor aleat´orio para o pre¸co do produto ´e
gerado e as entradas e sa´ıdas correspondentes s˜ao formatadas. No Passo 3, um dicion´ario contendo os
casos de teste ´e criado e convertido para o formato JSON. Por fim, no Passo 4, um exemplo de caso
de teste ´e mostrado no enunciado da quest˜ao. Esse c´odigo permite gerar casos de teste e parˆametros
para quest˜oes param´etricas, proporcionando varia¸c˜ao nos valores dos testes e facilitando a cria¸c˜ao de
quest˜oes personalizadas.
´
E importante testar o c´odigo em uma IDE antes de utiliz´a-lo no MCTest.
Francisco de Assis Zampirolli MCTest 91
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
Quest˜ao:
1 Escreva um programa que auxilia uma loja na hora de efetuar uma venda. Seu
2 programa deve perguntar o pre¸co do produto e considerar que a loja parcela
3 este pre¸co em somente em [[code:parcelas]] parcelas (sem juros). O seu
4 programa deve mostrar quanto ser´a o valor de uma parcela (arredondando
5 para duas casas decimais apenas). Veja exemplo a seguir: \\
6
7 \noindent\textbf{Exemplo de Entrada:}
8 \begin{verbatim}
9 [[code:caso0_inp]]
10 \end{verbatim}
11
12 \noindent\textbf{Exemplo de Sa´ıda:}
13 \begin{verbatim}
14 [[code:caso0_out]]
15 \end{verbatim}
16
17 % necess´ario para gerar casos de testes no moodle
18 \begin{comment}
19 [[code:moodle_cases]]
20 \end{comment}
C´odigo 5.12: Exemplo de QT param´etrica utilizando MCTest+Moodle+VPL – Parte 1: Descri¸c˜ao
de quest˜ao.
Aten¸c˜ao:
Dentre os quatro passos apresentados, o professor precisa apenas modificar o Passo 1, onde os
parˆametros do enunciado da quest˜ao s˜ao definidos. Al´em disso, o trecho entre #>>>> e #<<<<
deve ser alterado para criar diferentes casos de teste. Essas modifica¸c˜oes permitem criar outras
quest˜oes param´etricas, com varia¸c˜oes nos parˆametros e nos casos de teste, tornando o processo
de cria¸c˜ao mais flex´ıvel e personalizado.
Veja o resultado desta quest˜ao criada no MCTest ap´os clicar em “Criar-PDF” na Figura
5.5. Observa-se que, na descri¸c˜ao da quest˜ao, ´e exibido Integration: Moodle+VPL, indicando que
o MCTest reconheceu essa quest˜ao como uma tarefa que o estudante deve realizar em uma atividade
VPL no ambiente do Moodle, devido ao reconhecimento do comando command no enunciado da
quest˜ao.
5.4 Considera¸c˜oes finais
Neste cap´ıtulo, foram exploradas algumas possibilidades de cria¸c˜ao de quest˜oes param´etricas
no MCTest, combinando recursos de L
A
T
E
X e Python. Foram apresentados exemplos simples, mas ´e
importante ressaltar que ´e poss´ıvel criar quest˜oes param´etricas muito mais complexas, dependendo
da criatividade do professor. Essa capacidade de cria¸c˜ao personalizada ´e uma das partes mais im-
Francisco de Assis Zampirolli MCTest 92
5.4. CONSIDERAC¸
˜
OES FINAIS
Quest˜ao:
1 [[def:
2 # Antes de prosseguir, ´e recomendado testar o trecho de c´odigo
3 # Python a seguir em uma IDE para garantir seu funcionamento correto.
4 import json
5 import numpy as np # uso da biblioteca numpy para gerar n´umero aleat´orio
6
7 # Passo 1: Criar os par^ametros do enunciado da quest~ao
8 parcelas = np.random.randint(8,20)
9
10 # Passo 2: Criar os casos de teste
11 inp_list, out_list = [], [] # Listas vazias para armazenar os casos de teste
12 casos_teste = 2 # N´umero de casos de teste desejado
13 # Aumentar esse n´umero ap´os validar a quest~ao tamb´em na atividade VPL do Moodle
14
15 # Para cada caso de teste:
16 for i in range(casos_teste):
17
18 #>>>> begin - casos de teste
19 # Gerar um valor aleat´orio para o pre¸co do produto
20 valor_total = np.random.randint(100)/10 + 5001
21
22 # Criar a entrada do caso de teste como uma string
23 inp = str(valor_total)+'\n'
24
25 # Calcular o valor da parcela arredondado para duas casas decimais
26 out = f'{(valor_total/parcelas):.2f}'
27 #<<<< end - casos de teste
28
29 # Adicionar a entrada e sa´ıda do caso de teste `as listas
30 inp_list.append(inp)
31 out_list.append(out)
32
33 # Passo 3: Criar o dicion´ario com os casos de teste
34 cases = {}
35 cases['input'] = np.array(inp_list).tolist()
36 cases['output'] = np.array(out_list).tolist()
37 moodle_cases = json.dumps(cases)
38
39 # Passo 4: Mostrar um exemplo no enunciado da quest~ao
40 caso0_inp = cases['input'][0]
41 caso0_out = cases['output'][0]
42
43 #print(moodle_cases) # para testar em uma IDE
44 ]]
C´odigo 5.13: Exemplo de QT param´etrica utilizando MCTest+Moodle+VPL – Parte 2: Bloco de
c´odigo em Python.
portantes do MCTest, ao permitir a gera¸c˜ao e compartilhamento de quest˜oes para os mais diferentes
fins.
Embora a cria¸c˜ao de quest˜oes param´etricas possa exigir habilidades de programa¸c˜ao por parte
Francisco de Assis Zampirolli MCTest 93
CAP
´
ITULO 5. QUEST
˜
OES PARAM
´
ETRICAS
dos professores, o MCTest oferece a vantagem de gerenciar avalia¸c˜oes com um banco de quest˜oes
reutiliz´aveis. Isso ´e especialmente ´util quando h´a um grupo de professores interessados e uma grande
demanda de avalia¸c˜oes para milhares de estudantes.
No caso das QMs param´etricas, foram apresentados exemplos de como criar quest˜oes com
varia¸c˜oes de parˆametros, permitindo a gera¸c˜ao f´acil e r´apida de in´umeras quest˜oes. Tamb´em foram
discutidas diferentes t´ecnicas de parametriza¸c˜ao, oferecendo ao professor a liberdade de escolher a
que melhor se adapta `as suas habilidades de programa¸c˜ao.
Em rela¸c˜ao `as QTs param´etricas, foram destacados que os conceitos e t´ecnicas apresentados
para as QMs tamb´em se aplicam a esse tipo de quest˜ao. No entanto, nas QTs, n˜ao ´e preciso se
preocupar com as alternativas. Foram apresentados exemplos de quest˜oes param´etricas onde os
parˆametros foram variados, permitindo uma ampla gama de varia¸c˜oes para os estudantes.
Por fim, foram abordadas QTs param´etricas que envolvem c´odigo e introduzido o ambi-
ente Moodle e o plugin VPL. Mostrou-se como criar quest˜oes de EPs utilizando o Moodle+VPL
e discutiram-se os benef´ıcios dessa abordagem, incluindo a pr´atica ativa, o feedback imediato e a
agilidade na corre¸c˜ao. Tamb´em foram mencionados os desafios de integrar o MCTest, Moodle e VPL
para quest˜oes param´etricas de EP. A combina¸c˜ao dessas ferramentas oferece aos professores uma po-
derosa maneira de criar e avaliar quest˜oes param´etricas personalizadas, enriquecendo a experiˆencia
de aprendizagem dos estudantes.
Francisco de Assis Zampirolli MCTest 94
Francisco de Assis Zampirolli MCTest 98
Cap´ıtulo 6
Vis˜ao geral dos exames
Conte´udo
6.1 Acesso `a tela de exames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6.2 Recorte I da tela de exame . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2.1
´
Area `a esquerda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2.2
´
Area central . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.2.3
´
Area `a direita . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.3 Recorte II da tela de exame – turmas . . . . . . . . . . . . . . . . . . . . . . . . 97
6.4 Recorte III da tela de exame – quest˜oes . . . . . . . . . . . . . . . . . . . . . . 97
6.5 Recorte IV da tela de exame – configurando os detalhes . . . . . . . . . . . . . 98
6.6 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
A realiza¸c˜ao dos exames desempenha um papel fundamental no MCTest, sendo o elemento
central do sistema. Nessa etapa, ´e poss´ıvel ter a flexibilidade de incluir uma ou v´arias turmas
de estudantes em um exame, selecionar as quest˜oes que far˜ao parte dele, decidir sobre o formato
de impress˜ao (como uma quest˜ao por folha ou de maneira ecologicamente sustent´avel, com v´arias
quest˜oes por folha), determinar a quantidade de varia¸c˜oes a serem criadas e escolher se o exame ser´a
impresso ou enviado por e-mail aos estudantes, entre outros aspectos relevantes.
Neste cap´ıtulo, ser´a fornecida uma vis˜ao geral da tela de exames utilizada no MCTest. Como
essa tela ´e extensa, ela ser´a explicada em partes.
Adicionalmente, nos cap´ıtulos subsequentes, ser˜ao abordadas as diferentes modalidades de
exames j´a utilizadas, contendo: (1) Quest˜oes com apenas o quadro de respostas (QR); (2) Quest˜oes
com QR+QT, incluindo os enunciados; (3) QTs exclusivamente, que requerem corre¸c˜ao manual sendo
enviadas aos estudantes por e-mail; (4) QTs exclusivamente, nas quais os estudantes devem fornecer
solu¸c˜oes, como exerc´ıcios de programa¸c˜ao (EPs) em atividades VPL do Moodle. Al´em disso, ser´a
tratada a combina¸c˜ao desses estilos distintos em um ´unico exame.
99
CAP
´
ITULO 6. VIS
˜
AO GERAL DOS EXAMES
6.1 Acesso `a tela de exames
Ap´os efetuar o login, o professor cadastrado em uma disciplina ter´a acesso `a tela de exames
no menu superior direito. Ao acessar essa tela, ilustrada na Figura 6.1, o professor poder´a observar
que ainda n˜ao foram criados exames. Para iniciar o processo de cria¸c˜ao de um novo exame, basta
clicar no bot˜ao “Criar um novo Exame” dispon´ıvel nessa mesma tela.
Figura 6.1: Tela de exames do professor.
Na tela de cria¸c˜ao de um novo exame (consulte a Figura 6.2), ´e necess´ario selecionar uma
turma com pelo menos um estudante e atribuir um nome ao exame. Em seguida, clique no bot˜ao
“Salvar”. A cria¸c˜ao de turma por um professor foi apresentada nas Se¸c˜oes 2.2.4 – Turma e 3.3.1 –
Criar turma com arquivo CSV.
Aten¸c˜ao:
1.
´
E essencial ressaltar que um exame s´o pode ser criado se estiver associado a uma turma
criada pelo professor. Portanto, antes de excluir uma turma, certifique-se de apagar
todos os exames associados a ela;
2. Ao acessar a tela de atualiza¸c˜ao do exame, ´e extremamente importante preencher os
campos com muita aten¸c˜ao. Essa parte do sistema ´e especialmente sens´ıvel e requer
a cria¸c˜ao de v´arias mensagens de erro para lidar com o preenchimento incorreto dos
campos.
Ap´os a cria¸c˜ao do exame, ´e poss´ıvel realizar atualiza¸c˜oes e configurar todos os atributos
necess´arios para sua conclus˜ao. Devido `a extens˜ao dessa parte na vers˜ao atual do MCTest, a tela de
Francisco de Assis Zampirolli MCTest 100
6.2. RECORTE I DA TELA DE EXAME
Figura 6.2: Tela para criar um novo exame.
atualiza¸c˜ao de exame foi dividida em v´arias se¸c˜oes, que ser˜ao apresentadas a seguir. A tela de exame
pode ser acessada por meio do bot˜ao “Atualizar” exibido na Figura 6.1 correspondente ao exame em
quest˜ao rec´em criado.
Al´em disso, antes de prosseguir com a explica¸c˜ao detalhada das se¸c˜oes, ´e poss´ıvel gerar um
PDF do exame com as configura¸c˜oes padr˜ao ao clicar no bot˜ao “Cria-PDF”, conforme detalhado na
pr´oxima se¸c˜ao. Esse PDF ´e ilustrado na Figura 6.3.
6.2 Recorte I da tela de exame
Na Figura 6.4, ´e apresentado o Recorte I da tela de atualiza¸c˜ao de exame, que cont´em os
principais bot˜oes para a cria¸c˜ao e corre¸c˜ao de exames. Cada um desses bot˜oes ou combina¸c˜oes
foi submetido a experimentos e ser´a detalhado em cap´ıtulos futuros deste livro. Esses cap´ıtulos
Francisco de Assis Zampirolli MCTest 101
CAP
´
ITULO 6. VIS
˜
AO GERAL DOS EXAMES
Figura 6.3: Recorte do PDF gerado com as configura¸c˜oes padr˜ao, contendo apenas o cabe¸calho e o
QR.
fornecer˜ao informa¸c˜oes mais espec´ıficas sobre a utiliza¸c˜ao e os resultados dessas funcionalidades.
6.2.1
´
Area `a esquerda
´
E importante ressaltar que o bot˜ao “Criar-PDF” deve ser pressionado somente no final do
processo de atualiza¸c˜ao do exame, apesar de estar localizado no in´ıcio da tela. Essa posi¸c˜ao inicial
´e justificada pelo fato de que, ao compartilhar um exame entre v´arias turmas, basta alterar a(s)
turma(s), clicar em “Salvar” no final da tela de exame e, em seguida, clicar nesse bot˜ao “Criar-
PDF”. Dessa forma, todas as altera¸c˜oes feitas no exame ser˜ao registradas e o PDF final poder´a ser
gerado com base nas turmas atualizadas.
Um exemplo pr´atico desse recurso ´e aplicar o mesmo exame em v´arias ofertas da disciplina,
embora essa n˜ao seja considerada uma boa pr´atica pedag´ogica. No entanto, caso o exame seja
utilizado como uma atividade formativa e n˜ao avaliativa, essa abordagem n˜ao representaria um
problema significativo.
´
E importante destacar que a utiliza¸c˜ao de exames idˆenticos em diferentes
ofertas da disciplina pode comprometer a equidade e a validade da avalia¸c˜ao, pois os estudantes de
diferentes turmas poderiam compartilhar informa¸c˜oes sobre o exame. Recomenda-se a elabora¸c˜ao de
diferentes vers˜oes ou varia¸c˜oes do exame para cada oferta da disciplina, a fim de garantir a diversidade
e a individualidade das avalia¸c˜oes. Para alcan¸car esse objetivo, ´e poss´ıvel criar novas varia¸c˜oes do
exame.
Nas situa¸c˜oes em que se deseja criar exclusivamente exames com QRs, como ilustrado na
Francisco de Assis Zampirolli MCTest 102
6.2. RECORTE I DA TELA DE EXAME
Figura 6.4: Recorte I da tela de exame – ver explica¸c˜oes no texto sobre os bot˜oes.
Figura 6.3, ´e poss´ıvel clicar diretamente no bot˜ao “Criar-PDF” sem acionar o bot˜ao vermelho “Criar-
Varia¸c˜oes”. A etapa de cria¸c˜ao de varia¸c˜oes do exame, que envolve a sele¸c˜ao de quest˜oes e outros
atributos, n˜ao ´e necess´aria quando o objetivo ´e gerar apenas exames com QRs.
O bot˜ao de v´ıdeo ao lado do bot˜ao “Criar-PDF” foi criado com o intuito de fornecer uma
explica¸c˜ao detalhada do processo de cria¸c˜ao de exames com exerc´ıcios de programa¸c˜ao e corre¸c˜ao
autom´atica na atividade VPL do Moodle. Esse t´opico ser´a abordado em um cap´ıtulo futuro, com
mais detalhes e instru¸c˜oes espec´ıficas.
Destaque:
A primeira barra de rolagem abaixo do bot˜ao “Criar-PDF” na Figura 6.4 define o tamanho
da fonte que ir´a aparecer no PDF. O valor padr˜ao ´e o m´ınimo de 10pt e o valor m´aximo vai
at´e 12pt.
´
E muito importante observar que o QRCode que ir´a aparecer no PDF deve ficar
no interior do retˆangulo imagin´ario definido pelos quatro discos pretos. Esse QRCode vai
deslocando para a direita, conforme o tamanho do nome do estudante. Assim, recomenda-
se fortemente verificar se esse QRCode est´a posicionado corretamente em todos os exames
contidos no PDF gerado.
Francisco de Assis Zampirolli MCTest 103
CAP
´
ITULO 6. VIS
˜
AO GERAL DOS EXAMES
Destaque:
A segunda barra de rolagem, localizada abaixo do bot˜ao “Criar-PDF” na Figura 6.4, tem
a fun¸c˜ao de configurar a gera¸c˜ao de exames adaptativos, levando em considera¸c˜ao exames
anteriores. Por enquanto, esse recurso se aplica apenas a exames compostos exclusivamente
por quest˜oes de m´ultipla escolha dispon´ıveis no banco de dados. Essa barra de rolagem
permite selecionar a quantidade de exames anteriores a serem considerados, variando de zero
a 20 exames, ordenados pela data especificada no formul´ario do exame. O valor padr˜ao ´e zero,
indicando que o teste n˜ao ser´a adaptativo. Detalhes mais aprofundados sobre esse recurso
ser˜ao abordados em cap´ıtulos futuros.
Ao acionar o bot˜ao “Criar-PDF” na Figura 6.4, ser´a gerado um arquivo PDF para cada
turma. Se houver mais de uma turma vinculada ao exame, o navegador ir´a retornar um arquivo ZIP
contendo todos os arquivos PDF. Esse arquivo em formato PDF, ou o arquivo ZIP, tamb´em ser˜ao
enviados para o e-mail do professor. Para imprimir o PDF, siga as seguintes orienta¸c˜oes:
´
Area `a esquerda da Figura 6.4 – bot˜ao “Criar-PDF”
1. Escolha uma folha A4 de boa qualidade de impress˜ao;
2. No caso de exames com QM, ´e importante garantir que os c´ırculos estejam preenchidos corretamente, pois
falhas na marca¸c˜ao podem interferir no funcionamento do leitor ´optico. Se houver falhas, recomenda-se
trocar de impressora e imprimir novamente;
3. Antes de aplicar o exame, ´e altamente recomend´avel imprimir uma folha de teste, preenchˆe-la, digitaliz´a-
la e seguir as instru¸c˜oes indicadas no centro da p´agina para o envio do arquivo digitalizado pelo bot˜ao
“Upload-PDF”.
Aten¸c˜ao:
Em exames contendo quest˜oes do BD, cada vez que o bot˜ao “Criar-Varia¸c˜oes” for acionado,
diferentes exames ser˜ao gerados e armazenados no BD, com quest˜oes e respostas sorteadas.
Ap´os imprimir o PDF do exame, ´e importante salvar o arquivo no computador com seguran¸ca
e N
˜
AO ALTERAR mais os atributos da p´agina de exame, exceto ao modificar as turmas e
gerar novos PDFs usando o bot˜ao “Criar-PDF”. Caso contr´ario, a corre¸c˜ao autom´atica n˜ao
ser´a poss´ıvel nos exames digitalizados atrav´es do bot˜ao “Upload-PDF”, detalhado a seguir,
e nem nas corre¸c˜oes autom´aticas em atividades VPL do Moodle. Al´em disso, ao clicar em
“Criar-PDF”, ser´a sorteada uma varia¸c˜ao diferente para cada estudante.
6.2.2
´
Area central
Ap´os a aplica¸c˜ao das atividades com QMs, ´e poss´ıvel realizar a corre¸c˜ao de forma autom´atica,
digitalizando apenas a primeira p´agina de cada estudante e agrupando em um ´unico PDF todos os
estudantes da turma. No entanto, antes de prosseguir com esse processo, ´e necess´ario seguir as
seguintes recomenda¸c˜oes:
Francisco de Assis Zampirolli MCTest 104
6.2. RECORTE I DA TELA DE EXAME
´
Area central da Figura 6.4 – bot˜ao “Upload-PDF”
1. Antes de digitalizar os exames realizados pelos estudantes, verifique se todos os c´ırculos foram preenchidos
corretamente. Se houver falhas ou borr˜oes no contorno dos c´ırculos, o corretor pode n˜ao funcionar
adequadamente;
2. Digitalize a p´agina de frente (para exames com QMs) em n´ıveis de cinza, com uma resolu¸c˜ao de 150 dpi
(se a decodifica¸c˜ao do c´odigo QR falhar, use 200 dpi) e salve como um arquivo PDF por turma;
3. Verifique se os 4 discos pretos est˜ao completamente preenchidos e sem falhas;
4. Se a op¸c˜ao “Respostas” foi selecionada no campo “Quest˜oes/Respostas/Ambos” na tela de Exame, no
Recorte III, a primeira p´agina do PDF deve conter o gabarito, e todas as quest˜oes marcadas ser˜ao
desconsideradas;
5. Se a op¸c˜ao “Retorno: SIM” foi escolhida na tela de Exame, ao cadastrar os estudantes da turma, ser´a
necess´ario incluir tamb´em o e-mail do estudante. Nesse caso, siga as instru¸c˜oes no lado direito da p´agina
“Enviar Retornos aos Estudantes” para cada estudante receber a corre¸c˜ao do seu exame por e-mail.
Destaque:
A Figura 6.4 foi atualizada para permitir que o professor, caso deseje fornecer feedback aos
alunos, envie tanto as quest˜oes quanto os gabaritos. Isso pode ser feito marcando a caixa de
sele¸c˜ao localizada abaixo da op¸c˜ao “Upload-PDF”.
6.2.3
´
Area `a direita
Esta ´area ´e destinada aos exames com QTs e corre¸c˜ao manual realizadas nas folhas impressas
do exame. No artigo de Zampirolli, Goya, Pimentel e Kobayashi (2018) foi realizado um experimento
utilizando esse processo avaliativo e ser´a detalhado no Cap´ıtulo 12 – MCTest vers˜oes 4, 4.G e 5. No
bot˜ao “Enviar Retornos aos Estudantes Quest˜oes Dissertativas”, na p´agina do Exame, na Figura
6.4, se foram utilizados exames com QTs no formato N
˜
AO ecol´ogico, ent˜ao foi gerada uma quest˜ao
por folha, correto? Se desejar enviar as corre¸c˜oes feitas manualmente nos PDFs digitalizados para
cada estudante, ser´a necess´ario seguir alguns passos:
Francisco de Assis Zampirolli MCTest 105
CAP
´
ITULO 6. VIS
˜
AO GERAL DOS EXAMES
´
Area `a direita da Figura 6.4 – bot˜ao “Enviar Retornos aos Estudantes Quest˜oes Disser-
tativas”
1. No passo anterior (bot˜ao “Upload-PDF”), ao fazer o upload de todos os exames digitalizados, foi gerado
um arquivo ZIP com uma pasta para cada quest˜ao (por exemplo, Download.zip). Dentro dessa pasta,
foi gerado um arquivo PDF para cada estudante no formato _e1_c2_q3_p001_5.pdf, onde 1 ´e o ID do
exame, 2 ´e o ID da turma, 3 ´e o ID da quest˜ao, 001 ´e o n´umero da p´agina e 5 ´e o ID do estudante.
O professor pode fazer corre¸c˜oes adicionando anota¸c˜oes diretamente no PDF OU pode digitalizar os
exames com anota¸c˜oes realizadas `a caneta;
2. Altere manualmente os nomes dos arquivos de cada quest˜ao da seguinte forma:
_A;e1,e2,...;_e1_c2_q3_p001_5.pdf, onde A ´e um conceito ou nota atribu´ıda e ei s˜ao n´umeros de
c´odigos de erros (opcional). Na pasta de cada quest˜ao, pode ser inclu´ıdo um arquivo _msg.txt (um
para cada quest˜ao) contendo uma mensagem a ser enviada para cada estudante;
3. Compacte a pasta de cada quest˜ao (por exemplo, _e1_q3.zip) e fa¸ca o upload utilizando o bot˜ao “Enviar
Retornos aos Estudantes”. Ser´a enviado para cada estudante o PDF com as corre¸c˜oes, e tamb´em ser´a
gerado um arquivo CSV contendo os conceitos de cada estudante.
6.3 Recorte II da tela de exame – turmas
A Figura 6.5 apresenta a se¸c˜ao para selecionar as turmas associadas ao exame. Nessa se¸c˜ao,
o professor pode escolher as turmas nas quais deseja aplicar a avalia¸c˜ao, marcando a caixa de sele¸c˜ao
na primeira coluna. Ap´os realizar as sele¸c˜oes, as turmas escolhidas ser˜ao sempre exibidas no topo
da lista de turmas ao atualizar a p´agina clicando no bot˜ao “Salvar”.
Na Figura 6.5, tamb´em s˜ao apresentados os seguintes detalhes sobre cada turma: disciplina,
c´odigo, tipo (pr´atica ou te´orica), localiza¸c˜ao da sala, per´ıodo ou semestre letivo, n´umero de estudantes
e professor(es) respons´avel(is) pela turma. A ´ultima coluna, intitulada “Ver”, cont´em um bot˜ao com
o ID da turma no banco de dados. Ao clicar nesse bot˜ao, ser´a exibida uma lista com todos os
estudantes da respectiva turma.
6.4 Recorte III da tela de exame – quest˜oes
O professor tem a op¸c˜ao de selecionar as quest˜oes desejadas para aplicar na avalia¸c˜ao, con-
forme ilustrado na Figura 6.6. Essa sele¸c˜ao ´e feita marcando a caixa de sele¸c˜ao na primeira coluna
correspondente a cada quest˜ao desejada. As quest˜oes marcadas ser˜ao sempre exibidas no topo da
lista de quest˜oes, ap´os clicar no bot˜ao “Salvar”. Essa lista cont´em todas as quest˜oes da disciplina
`a qual o exame est´a vinculado, pois um dos objetivos do MCTest ´e compartilhar esfor¸cos entre os
professores na elabora¸c˜ao de quest˜oes.
Na Figura 6.6, tamb´em s˜ao exibidos os seguintes detalhes sobre cada quest˜ao: t´opico, des-
cri¸c˜ao curta, tipo QM ou QT, seguido pelo n´umero de alternativas (´e importante ressaltar que todas
as quest˜oes devem ter o mesmo n´umero de alternativas em cada exame), dificuldade (as quest˜oes de
dificuldade 1 s˜ao apresentadas primeiro, seguidas pelas quest˜oes de dificuldade 2, e assim por diante;
em seguida, s˜ao apresentadas as QTs, tamb´em nessa ordem), grupo (apenas uma quest˜ao por grupo
Francisco de Assis Zampirolli MCTest 106
6.5. RECORTE IV DA TELA DE EXAME – CONFIGURANDO OS DETALHES
Figura 6.5: Recorte II da tela de exame, com as turmas do professor.
´e sorteada em cada exame) e, por fim, se a quest˜ao ´e param´etrica ou n˜ao.
A ´ultima coluna, intitulada “Ver”, exibe o ID da quest˜ao. Ao clicar nesse bot˜ao, o professor
poder´a visualizar a quest˜ao em detalhes.
6.5 Recorte IV da tela de exame – configurando os detalhes
Na Figura 6.7, s˜ao apresentados os campos de configura¸c˜ao de um exame. Cada quest˜ao
possui uma dificuldade variando de 1 a 5. O professor deve selecionar a quantidade de QMs (na
Figura 6.6) que deseja incluir em cada exame. As quest˜oes ser˜ao exibidas em ordem crescente de
dificuldade, come¸cando pela dificuldade 1 e assim por diante.
´
E importante observar que todas as
QMs de um exame devem ter o mesmo n´umero de alternativas. Al´em disso, ´e poss´ıvel criar exames
que contenham QTs, seguindo a ordem de dificuldade de cada quest˜ao.
Francisco de Assis Zampirolli MCTest 107
CAP
´
ITULO 6. VIS
˜
AO GERAL DOS EXAMES
Figura 6.6: Recorte III da tela de exame, com as quest˜oes da disciplina.
Figura 6.7: Recorte IV da tela de exame, configurando os detalhes do exame.
Francisco de Assis Zampirolli MCTest 108
6.5. RECORTE IV DA TELA DE EXAME – CONFIGURANDO OS DETALHES
Alguns exemplos de erros comuns que podem ocorrer:
Na Figura 6.7, o n´umero de quest˜oes por dificuldade de 1 a 5 ´e aplic´avel apenas a QM. O n´umero de
QTs n˜ao ´e contabilizado por dificuldade. Quanto ao n´umero de quest˜oes por dificuldade:
1.
´
E comum ocorrer um erro ao definir uma quantidade inferior de QMs em rela¸c˜ao `a quantidade
selecionada anteriormente (Figura 6.5) para cada dificuldade, especialmente quando as quest˜oes
possuem grupos. Lembre-se de que em cada exame ´e sorteada apenas uma quest˜ao por grupo.
Portanto, se vocˆe selecionar 10 quest˜oes do grupo X, deve considerar apenas uma quest˜ao para
contabilizar a quantidade correta;
2. Tamb´em ´e comum ocorrer o erro de selecionar QMs com um n´umero diferente de alternativas;
3. Finalmente, ocorre erro ao contabilizar quest˜oes com diferentes dificuldades.
Na Figura 6.7, `a direita, ´e poss´ıvel visualizar o estilo do(s) bloco(s) de respostas ou QRs, onde
os estudantes devem marcar as alternativas. Esses QRs aparecem na primeira folha da avalia¸c˜ao.
Diversos estilos est˜ao dispon´ıveis em vision.ufabc.edu.br/MCTest/MCTest5-Experiments. Se a op¸c˜ao
“Ecol´ogico” for definida como “N
˜
AO”, cada QT ser´a desenhada em uma ´unica folha, frente e verso.
Aten¸c˜ao:
1. Se a op¸c˜ao “Retorno” for selecionada como “SIM” na tela de Exame, ao pressionar o
bot˜ao “Criar-PDF”, ser´a enviado um e-mail para cada estudante contendo o exame em
um arquivo PDF anexado;
2. Um exame s´o existe se estiver associado a uma turma. Portanto:
• Antes de excluir as turmas, certifique-se de que todos os exames estejam associados
a uma ´unica turma. Somente ap´os isso, vocˆe poder´a excluir as outras turmas;
• Se um exame for deixado sem uma turma selecionada na Figura 6.5 e vocˆe cli-
car em “Salvar”, ocorrer´a um erro. Nesse caso, ser´a poss´ıvel corrigir apenas se o
administrador fizer altera¸c˜oes diretamente no BD, o que n˜ao ´e recomendado;
• Foram adicionadas v´arias mensagens de erro para tentar lidar com esses problemas.
Alguns exemplos de erros comuns que podem ocorrer:
Um erro frequente ocorre quando o campo “Respostas/Quest˜oes/Ambos” ´e incompat´ıvel com os demais
atributos do exame. Certifique-se de que as op¸c˜oes selecionadas nesse campo sejam consistentes com
as demais configura¸c˜oes do exame.
1. A op¸c˜ao “Respostas” exibe apenas o QRs, sem as quest˜oes. Essa op¸c˜ao ´e ´util quando o professor
deseja aplicar apenas QMs, mas fornece os enunciados das quest˜oes em outro documento, n˜ao
gerado pelo MCTest. Nesse caso, n˜ao ´e poss´ıvel ter varia¸c˜oes de exame;
2. A op¸c˜ao “Quest˜oes” ´e geralmente usada para avalia¸c˜oes com QTs;
3. A op¸c˜ao “Ambos” permite incluir tanto o QR quanto as QMs, podendo tamb´em incluir QTs.
Francisco de Assis Zampirolli MCTest 109
CAP
´
ITULO 6. VIS
˜
AO GERAL DOS EXAMES
6.6 Considera¸c˜oes finais
A realiza¸c˜ao dos exames desempenha um papel fundamental no MCTest, sendo o elemento
central do sistema. Neste cap´ıtulo, ser´a fornecida uma vis˜ao geral da tela de exames utilizada no
MCTest, abordando os principais aspectos relacionados `a cria¸c˜ao e configura¸c˜ao dos exames.
Ao acessar a tela de exames, o professor tem a flexibilidade de incluir uma ou v´arias turmas
de estudantes em um exame, selecionar as quest˜oes que far˜ao parte dele e definir diversos aspectos
relevantes, como o formato de impress˜ao, a quantidade de varia¸c˜oes a serem criadas e a entrega do
exame aos estudantes.
Foram exploradas as diferentes se¸c˜oes presentes na tela de exames, destacando o processo de
sele¸c˜ao das turmas associadas ao exame, a escolha das quest˜oes a serem inclu´ıdas e a configura¸c˜ao
detalhada do exame, como a defini¸c˜ao da quantidade de QMs e QTs.
Ao longo dos cap´ıtulos seguintes, ser˜ao aprofundadas as modalidades de exames dispon´ıveis
no MCTest, abordando quest˜oes com apenas o QR, quest˜oes com o enunciado completo, QTs que
requerem corre¸c˜ao manual e exames compostos por diferentes estilos de quest˜oes.
´
E importante estar ciente de poss´ıveis erros comuns ao criar e configurar os exames, como a
defini¸c˜ao incorreta do n´umero de quest˜oes por dificuldade, especialmente quando as quest˜oes possuem
grupos, e a sele¸c˜ao de QMs com um n´umero diferente de alternativas. O sistema conta com mensagens
de erro para auxiliar na identifica¸c˜ao e corre¸c˜ao desses problemas.
Por fim, foi destacada a importˆancia de associar corretamente os exames a uma turma e de
verificar as configura¸c˜oes antes de realizar exclus˜oes, garantindo a integridade dos dados e o correto
funcionamento do sistema.
No pr´oximo cap´ıtulo, ser´a abordada a modalidade de exames com apenas QR, explorando
suas caracter´ısticas e funcionalidades.
Francisco de Assis Zampirolli MCTest 110
Cap´ıtulo 7
Exames com Quadro de Respostas (QR)
Conte´udo
7.1 Utilizando exames exclusivamente com QR . . . . . . . . . . . . . . . . . . . . 103
7.1.1 Estilo vertical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7.1.2 Estilo horizontal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7.2 Restri¸c˜oes nos QRs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.3 Corrigindo exames com QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.3.1 Arquivo CSV com as corre¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . 109
7.3.2 Teoria de Resposta ao Item . . . . . . . . . . . . . . . . . . . . . . . . . 110
7.3.3 Feedback ao estudante . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.4 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Este cap´ıtulo enfoca a cria¸c˜ao de exames que contˆem exclusivamente o quadro de resposta
(QR). Essa abordagem ´e especialmente ´util quando os enunciados das quest˜oes s˜ao fornecidos sepa-
radamente.
´
E uma pr´atica amplamente adotada na Escola Preparat´oria da UFABC (EPUFABC)
para processos seletivos e simulados que envolvem in´umeros estudantes anualmente. Ser´a apresen-
tado como acomodar centenas de quest˜oes em uma ´unica p´agina em formato PDF, que pode ser
impressa e distribu´ıda aos estudantes para preencherem manualmente as respostas. Em seguida, os
QRs s˜ao digitalizados e enviados ao MCTest para corre¸c˜ao. O sistema envia ao professor um e-mail
contendo arquivos CSV com as marca¸c˜oes de cada estudante e as respostas corretas. Al´em disso, em
poucos minutos, o MCTest fornece uma s´ıntese da Teoria de Respostas ao Item (TRI) com base nas
corre¸c˜oes realizadas. O gabarito, ou seja, as respostas corretas, ´e fornecido na primeira p´agina do
PDF digitalizado, que pode conter as respostas de todos os estudantes de uma turma em sequˆencia.
111
CAP
´
ITULO 7. EXAMES COM QUADRO DE RESPOSTAS (QR)
7.1 Utilizando exames exclusivamente com QR
Conforme visto no cap´ıtulo anterior, na Se¸c˜ao 6.1 – Acesso `a tela de exames, ao criar um
exame, a configura¸c˜ao padr˜ao ´e para um exame com exclusivamente o QR, como mostrado na Figura
6.3. Para esse estilo de exame, o professor s´o precisa selecionar a(s) turma(s) e seguir as instru¸c˜oes
descritas na Se¸c˜ao 6.5 – Recorte IV da tela de exame – configurando os detalhes para configurar
os detalhes do exame. Nesse caso, ´e necess´ario definir o n´umero de quest˜oes em uma escala de
dificuldade de 1 a 5 e o n´umero de alternativas de cada quest˜ao na parte esquerda da Figura 6.7. Na
parte direita, vocˆe deve informar a quantidade de quest˜oes por bloco/quadro e escolher a quantidade
de blocos por linha, al´em de definir se o estilo do exame ser´a horizontal ou vertical. Certifique-se
de marcar as op¸c˜oes “Quest˜oes/Respostas/Ambos=Respostas”, “Ecol´ogico=Sim” e “Retorno=N˜ao”.
As instru¸c˜oes do exame podem ser definidas no campo “Instru¸c˜oes” e ´e poss´ıvel utilizar a formata¸c˜ao
de itens com o comando \item.
7.1.1 Estilo vertical
Na Figura 7.1, ´e apresentado um recorte do cabe¸calho do exame, que inclui os dados do
candidato e o QR. No processo seletivo da EPUFABC, realizado em 2019, houve a digitaliza¸c˜ao
de 2553 QRs. Nesse caso espec´ıfico, foi adotado o estilo vertical, com 25 quest˜oes por bloco e
dois blocos por linha. Observa-se no cabe¸calho a presen¸ca de um QRcode (Quick Response Code)
criptografado e compactado, contendo informa¸c˜oes do exame e do candidato. Apenas 13 exames
tiveram o c´odigo n˜ao reconhecido (normalmente, basta digitaliz´a-lo novamente com uma resolu¸c˜ao
melhor para funcionar). Al´em disso, somente 5 candidatos preencheram o QR incorretamente. Por
exemplo, na Figura 7.1, ´e poss´ıvel observar que o candidato ultrapassou o local de marca¸c˜ao na
quest˜ao 48. Quando isso acontece, ´e poss´ıvel corrigir a marca¸c˜ao errada utilizando um corretivo ou
um editor de PDF que permite a edi¸c˜ao de imagens no pr´oprio documento, como o site ilovepdf.com.
No entanto, ´e importante ter cuidado para n˜ao remover parte dos c´ırculos ao realizar a corre¸c˜ao.
Um exemplo de instru¸c˜oes, que contou com a colabora¸c˜ao do Prof. Dr. Leonardo Steil, ent˜ao
Pr´o-Reitor de Extens˜ao, para redigir o texto, ´e mostrado na Figura 7.2, utilizado no processo seletivo
de 2019 da EPUFABC.
Com esse exemplo realizado na EPUFABC, foi destacada a utilidade do MCTest na realiza¸c˜ao
de avalia¸c˜oes para in´umeros estudantes. No caso em quest˜ao, foi criado um ´unico arquivo CSV para
preencher as 29 turmas, uma em cada sala de aula, conforme descrito na Se¸c˜ao 3.2.2 - Criar v´arias
turmas com arquivo CSV. Em seguida, foi configurado um ´unico exame selecionando todas as turmas
e gerados os PDFs, um por turma, conforme detalhado na Se¸c˜ao 6.2 - Recorte I da tela de exame.
Os exames foram impressos e aplicados aos estudantes. Posteriormente, foi realizada a digitaliza¸c˜ao
dos QRs, conforme explicado na Se¸c˜ao 6.2. O MCTest ent˜ao enviou as corre¸c˜oes dos exames. Em
casos em que ocorreu algum erro durante o processo de corre¸c˜ao do QR, uma imagem da quest˜ao
e das alternativas foi salva e inclu´ıda em um arquivo ZIP que tamb´em foi enviado ao professor por
e-mail.
Francisco de Assis Zampirolli MCTest 112
7.1. UTILIZANDO EXAMES EXCLUSIVAMENTE COM QR
Figura 7.1: Recorte de um exame digitalizado em formato PDF no estilo vertical.
Figura 7.2: Recorte de um exame em formato PDF no estilo vertical, com as instru¸c˜oes.
Francisco de Assis Zampirolli MCTest 113
CAP
´
ITULO 7. EXAMES COM QUADRO DE RESPOSTAS (QR)
7.1.2 Estilo horizontal
Para minimizar os erros nas marca¸c˜oes dos c´ırculos, foi criado o estilo horizontal, como ilus-
trado na Figura 7.3.
´
E importante observar que, na quest˜ao 15 desta figura, o candidato utilizou
corretivo, o que inviabilizou o algoritmo de vis˜ao computacional na corre¸c˜ao autom´atica deste can-
didato. Esse estilo foi aplicado no processo seletivo da EPUFABC em 2020. Al´em disso, o estilo
vertical ocupa menos espa¸co na folha de exame, o que ´e especialmente ´util quando se deseja incluir
tanto o QR quanto as quest˜oes em uma ´unica folha, conforme utilizado no processo seletivo da
Especializa¸c˜ao em Tecnologias e Sistemas da Informa¸c˜ao (TSI), que ser´a apresentado no pr´oximo
cap´ıtulo.
Figura 7.3: Recorte de um exame digitalizado em formato PDF no estilo vertical.
O restante deste cap´ıtulo fornecer´a mais detalhes sobre esse estilo de exame que inclui exclu-
sivamente o QR.
7.2 Restri¸c˜oes nos QRs
Na Figura 7.4, s˜ao apresentados exemplos de exames com a quantidade m´axima de quest˜oes
nos estilos horizontal (245 quest˜oes) e vertical (200 quest˜oes).
´
E importante ressaltar que, se o
n´umero de alternativas for menor do que cinco, esses valores m´aximos ser˜ao ainda maiores. O
n´umero m´ınimo de alternativas permitidas por quest˜ao ´e trˆes. Al´em disso, ´e relevante
destacar que apenas a p´agina da frente pode ser utilizada para a constru¸c˜ao dos QRs.
A seguir, ser˜ao apresentadas mais restri¸c˜oes relacionadas `a organiza¸c˜ao dos QRs. O n´umero
m´ınimo de quest˜oes por bloco ´e trˆes. Portanto, se for criado um exame com 17 quest˜oes, cinco
quest˜oes por bloco e dois blocos por linha, ocorrer´a um erro, pois n˜ao ´e poss´ıvel ter um bloco com
Francisco de Assis Zampirolli MCTest 114
7.2. RESTRIC¸
˜
OES NOS QRS
Figura 7.4: Exemplos de PDFs de exames com 245 quest˜oes no estilo horizontal e 200 quest˜oes no
estilo vertical.
Francisco de Assis Zampirolli MCTest 115
CAP
´
ITULO 7. EXAMES COM QUADRO DE RESPOSTAS (QR)
apenas duas quest˜oes. Uma alternativa nesse caso seria criar blocos com seis quest˜oes cada um, por
exemplo. Na Figura 7.5, ´e mostrado um exemplo contendo 18 quest˜oes, cinco quest˜oes por bloco e
dois blocos por linha.
Figura 7.5: Exemplo de PDF de um exame com 18 quest˜oes, cinco quest˜oes por bloco e dois blocos
por linha.
7.3 Corrigindo exames com QR
Ao imprimir o PDF apresentado na Figura 7.5 e preencher o gabarito, foi digitalizado e
apresentado na Figura 7.6–(a). Em seguida, foram preenchidas mais algumas alternativas na mesma
p´agina do gabarito e realizada uma nova digitaliza¸c˜ao, como mostrado na Figura 7.6–(b). Na terceira
p´agina do PDF, optou-se por repetir o gabarito para simular um estudante que obteve a nota m´axima
nesta avalia¸c˜ao.
´
E importante mencionar que a Figura 7.6–(b) exibe a digitaliza¸c˜ao da p´agina rotacionada de
prop´osito. Isso pode ser feito sem problemas, desde que os quatro discos pretos externos estejam
intactos na digitaliza¸c˜ao. Nesse caso espec´ıfico, os erros foram gerados intencionalmente ao mar-
car mais de uma alternativa em algumas quest˜oes, para avaliar a capacidade do m´etodo de vis˜ao
computacional em detectar essas marca¸c˜oes incorretas.
Francisco de Assis Zampirolli MCTest 116
7.3. CORRIGINDO EXAMES COM QR
(a) (b)
Figura 7.6: Exemplos de exames digitalizados a partir do PDF mostrado na Figura 7.5.
Destaque:
Se algum dos quatro discos n˜ao aparecer durante a digitaliza¸c˜ao, uma sugest˜ao seria pintar o
que estiver faltando com o mesmo diˆametro e realizar uma nova digitaliza¸c˜ao. Outra op¸c˜ao ´e
realizar a pintura diretamente no arquivo digitalizado, utilizando, por exemplo, a ferramenta
dispon´ıvel em www.ilovepdf.com. Lembrando que os quatro discos devem formar um retˆangulo
imagin´ario com as marca¸c˜oes e o QRcode internos.
Ap´os fazer o upload deste PDF, seguindo as instru¸c˜oes descritas na Se¸c˜ao 6.2 - Recorte I da
tela de exame, ser˜ao gerados v´arios arquivos que ser˜ao compactados em um arquivo ZIP, conforme
apresentado a seguir:
Arquivos gerados ao solicitar a corre¸c˜ao do exame no bot˜ao “Upload-PDF”
_e476_fzampirolli@ufabc.edu.br_ScanFile_RETURN__.csv
_e476_fzampirolli@ufabc.edu.br_ScanFile_RETURN_irt.csv
_e476_fzampirolli@ufabc.edu.br_ScanFile_RETURN_p002_s3_q002.png
_e476_fzampirolli@ufabc.edu.br_ScanFile_RETURN_p002_s3_q003.png
_e476_fzampirolli@ufabc.edu.br_ScanFile_RETURN_p002_s3_q004.png
_e476_fzampirolli@ufabc.edu.br_ScanFile_RETURN_p002_s3_q005.png
_e476_fzampirolli@ufabc.edu.br_ScanFile_RETURN_statistics.csv
Nesses arquivos, o prefixo _e476_ representa o ID do exame no banco de dados, seguido pelo
e-mail do professor logado no MCTest e pelo nome do arquivo digitalizado e enviado para corre¸c˜ao.
O sufixo _RETURN_ indica que esses arquivos ser˜ao compactados e enviados ao e-mail do professor
vinculado `a conta logada no MCTest.
Francisco de Assis Zampirolli MCTest 117
CAP
´
ITULO 7. EXAMES COM QUADRO DE RESPOSTAS (QR)
7.3.1 Arquivo CSV com as corre¸c˜oes
O conte´udo do primeiro arquivo CSV na lista anterior, *_.csv, apresenta a seguinte estru-
tura: a primeira linha cont´em o cabe¸calho, onde Pag representa a p´agina do PDF, ID ´e a identifica¸c˜ao
do estudante obtida por meio do QRcode, Resp indica a quantidade de alternativas, Quest repre-
senta a quantidade de quest˜oes, Inv indica as quest˜oes inv´alidas (sem marca¸c˜ao ou com mais de uma
marca¸c˜ao), e Grade mostra a quantidade de quest˜oes marcadas corretamente, conforme o gabarito
presente na primeira linha. A segunda linha cont´em a compila¸c˜ao do gabarito (compila¸c˜ao da pri-
meira p´agina do PDF), enquanto a linha seguinte representa o exame com erros no preenchimento
(compila¸c˜ao da segunda p´agina do PDF).
´
E poss´ıvel observar que existem quatro quest˜oes inv´alidas
identificadas pela coluna Inv, correspondentes `as quest˜oes 12, 13, 14 e 15 do terceiro bloco (identifi-
cado como s3 na lista acima), ver Figura 7.6–(b). Essas quest˜oes foram salvas como arquivos PNG e
est˜ao exibidas na Figura 7.7. Essas imagens s˜ao ´uteis, pois o professor pode analis´a-las para verificar
poss´ıveis altera¸c˜oes na quantidade de respostas corretas do estudante. A quarta linha deste arquivo
CSV corresponde `a repeti¸c˜ao do gabarito (compila¸c˜ao da terceira p´agina do PDF).
Conte´udo do arquivo * .csv gerado (as colunas s˜ao separadas por v´ırgula)
Pag ID Resp Quest Inv Grade Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18
1 1 5 18 0 0 A B C D E E D C B A A A A A A D D D
2 1 5 18 4 14 A B C D E E D C B A A 2/A 3/A 4/A 5/A D D D
3 1 5 18 0 18 A B C D E E D C B A A A A A A D D D
Aten¸c˜ao:
1. Quando ocorre um erro na decodifica¸c˜ao do QRcode, ´e apresentado ERROR na coluna
Pag;
2. Quando ocorre um erro na compila¸c˜ao dos QRs, como apresentados nas Figuras 7.1 e
7.3, as colunas Resp e Quest apresentam n´umeros diferentes dos definidos no formul´ario
do exame.
7.3.2 Teoria de Resposta ao Item
O segundo arquivo CSV, com sufixo _irt.csv, cont´em as respostas corretas (representadas
pelo valor 1) e incorretas (representadas pelo valor 0), a partir da segunda linha (o gabarito da
primeira linha ´e desconsiderado), conforme exemplificado a seguir. Esse arquivo ser´a utilizado para
realizar os c´alculos da Teoria de Resposta ao Item (TRI) (BIRNBAUM, 1968).
Conte´udo do arquivo * irt.csv gerado (as colunas s˜ao separadas por v´ırgula)
1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Francisco de Assis Zampirolli MCTest 118
7.3. CORRIGINDO EXAMES COM QR
Figura 7.7: Recortes das quest˜oes marcadas erradamente na Figura 7.6–(b).
Os resultados da TRI foram adaptados do site criado por Yasuharu Okamoto, utilizando a
biblioteca PyMC3 do Python. A TRI ´e amplamente utilizada na medi¸c˜ao de habilidades, sendo o
Exame Nacional do Ensino M´edio (ENEM) um exemplo conhecido dessa aplica¸c˜ao. No entanto,
em psicologia, ´e comum adotar a abordagem de est´agios para representar o desenvolvimento dessas
habilidades. Esse modelo permite analisar dados de habilidades representadas por est´agios, onde a
probabilidade de uma resposta correta aumenta `a medida que o est´agio avan¸ca. No caso do MCTest,
utilizou-se um n´umero de est´agios K=5, representando os cinco conceitos que o estudante pode
alcan¸car (A, B, C, D e F) na gradua¸c˜ao da UFABC. O script adaptado calcula as probabilidades de
respostas corretas entre esses est´agios.
Ao detalhar um pouco mais esse processo, ´e importante mencionar que o MCTest calcula au-
tomaticamente a TRI de cada PDF digitalizado submetido para corre¸c˜ao. No entanto, para calcular a
TRI dos 2553 candidatos que participaram do processo seletivo da EPUFABC em 2019, foi necess´ario
reunir todos esses arquivos _irt.csv obtidos dos PDFs submetidos em um ´unico arquivo. Para oti-
mizar o tempo de processamento, realizou-se a ordena¸c˜ao e criou-se um novo CSV contendo os dados
dos 1000 candidatos com melhor classifica¸c˜ao. Em seguida, utilizou-se o script disponibilizado no
GitHub, no arquivo github.com/fzampirolli/mctest/blob/master/ irt pymc3 shell.py. Es-
pecificamente para o trabalho de Zampirolli, Batista, Josko, Steil e Trevisan (2021), foi utilizada
tamb´em a linguagem de programa¸c˜ao R para processar todos os candidatos.
Melhorias:
Para trabalhos futuros, ´e necess´ario adaptar esse processo de c´alculo da TRI para lidar de
forma mais eficiente com um n´umero maior de candidatos, visto que a abordagem atual se
limita aos 1000 mais bem classificados.
Os resultados obtidos por meio da TRI ser˜ao apresentados no terceiro arquivo CSV, com
sufixo _statistics.csv, conforme demonstrado a seguir. Nesse arquivo de estat´ısticas, a primeira
coluna, id, representa o n´umero da quest˜ao. A coluna corr indica o n´umero de respostas corretas,
enquanto a coluna fail indica o n´umero de respostas marcadas incorretamente. A coluna aver
representa a m´edia de acertos, e a coluna str indica o desvio padr˜ao. Em seguida, tˆem-se as colunas
Francisco de Assis Zampirolli MCTest 119
CAP
´
ITULO 7. EXAMES COM QUADRO DE RESPOSTAS (QR)
%corr e %fail, que representam a porcentagem de respostas corretas e incorretas, respectivamente.
No entanto, ´e importante ressaltar que um experimento completo realizado na EPUFABC,
que resultou no trabalho de Zampirolli, Batista, Josko, Steil e Trevisan (2021), ser´a apresentado na
parte de experimentos deste livro.
Conte´udo do arquivo * statistics.csv gerado (as colunas s˜ao separadas por v´ırgula)
id corr fail aver std %corr %fail
1 2 0 1.0 0.0 1.0 0.0
2 2 0 1.0 0.0 1.0 0.0
3 2 0 1.0 0.0 1.0 0.0
4 2 0 1.0 0.0 1.0 0.0
5 2 0 1.0 0.0 1.0 0.0
6 2 0 1.0 0.0 1.0 0.0
7 2 0 1.0 0.0 1.0 0.0
8 2 0 1.0 0.0 1.0 0.0
9 2 0 1.0 0.0 1.0 0.0
10 2 0 1.0 0.0 1.0 0.0
11 2 0 1.0 0.0 1.0 0.0
12 1 1 0.5 0.5 0.5 0.5
13 1 1 0.5 0.5 0.5 0.5
14 1 1 0.5 0.5 0.5 0.5
15 1 1 0.5 0.5 0.5 0.5
16 2 0 1.0 0.0 1.0 0.0
17 2 0 1.0 0.0 1.0 0.0
18 2 0 1.0 0.0 1.0 0.0
7.3.3 Feedback ao estudante
Se a op¸c˜ao “Retorno=Sim” na Se¸c˜ao 6.5 – Recorte IV da tela de exame – configurando os
detalhes for selecionada, ao clicar em “Upload–PDF”, as corre¸c˜oes do exame de cada estudante ser˜ao
enviadas por e-mail em formato PDF, conforme apresentado na Figura 7.8.
´
E poss´ıvel observar
que as marca¸c˜oes incorretas s˜ao indicadas por um c´ırculo na alternativa correta. No final do PDF,
´e fornecido um resumo contendo os dados do estudante e a quantidade de acertos. No pr´oximo
cap´ıtulo, ser˜ao apresentados mais exemplos de QR que incluem as QMs.
7.4 Considera¸c˜oes finais
Este cap´ıtulo abordou a cria¸c˜ao de exames exclusivamente com o QR, uma pr´atica comumente
adotada na Escola Preparat´oria da UFABC (EPUFABC) para processos seletivos e simulados que
envolvem in´umeros estudantes anualmente. Foi demonstrado como acomodar centenas de quest˜oes
em uma ´unica p´agina no formato PDF, que pode ser impressa e distribu´ıda aos estudantes para
preencherem manualmente as respostas.
Em seguida, os QRs s˜ao digitalizados e enviados ao MCTest para corre¸c˜ao. O sistema envia
ao professor um e-mail contendo arquivos CSV com as marca¸c˜oes de cada estudante e as respostas
Francisco de Assis Zampirolli MCTest 120
7.4. CONSIDERAC¸
˜
OES FINAIS
Figura 7.8: PDF com o feedback das corre¸c˜oes enviado para o e-mail do estudante.
corretas. Al´em disso, o MCTest fornece uma s´ıntese da Teoria de Respostas ao Item (TRI) com base
nas corre¸c˜oes realizadas. O gabarito, ou seja, as respostas corretas, ´e fornecido na primeira p´agina do
PDF digitalizado, que pode conter as respostas de todos os estudantes de uma turma em sequˆencia.
Ao utilizar exames exclusivamente com QR, ´e importante configurar corretamente os detalhes
do exame, como o n´umero de quest˜oes, o n´umero de alternativas por quest˜ao e o estilo do exame
(horizontal ou vertical). Foi destacado que ´e poss´ıvel corrigir eventuais erros de marca¸c˜ao utilizando
ferramentas de edi¸c˜ao de PDF, mas ´e necess´ario ter cuidado para preservar as marca¸c˜oes corretas.
Por fim, foi apresentada a possibilidade de fornecer feedback aos estudantes, atrav´es da op¸c˜ao
“Retorno=Sim” no MCTest. Nesse caso, o sistema envia por e-mail um PDF com as corre¸c˜oes do
exame para cada estudante, contendo marca¸c˜oes incorretas indicadas por c´ırculos na alternativa
correta, bem como um resumo dos dados do estudante e a quantidade de acertos.
No pr´oximo cap´ıtulo, ser˜ao apresentados mais exemplos de QR que incluem as quest˜oes,
ampliando as possibilidades de utiliza¸c˜ao dessa abordagem no contexto educacional.
Francisco de Assis Zampirolli MCTest 121
CAP
´
ITULO 7. EXAMES COM QUADRO DE RESPOSTAS (QR)
Francisco de Assis Zampirolli MCTest 122
Cap´ıtulo 8
Exames com QR+QM e/ou QT
Conte´udo
8.1 Criando QMs e uma QT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
8.2 Criando as varia¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
8.3 Detalhando os gabaritos no arquivo CSV . . . . . . . . . . . . . . . . . . . . . . 119
8.4 Criando o PDF do exame com QR+QM+QT . . . . . . . . . . . . . . . . . . . 121
8.5 Corrigindo exames com QR+QM . . . . . . . . . . . . . . . . . . . . . . . . . . 124
8.6 Exames adaptativos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8.7 Recomenda¸c˜oes para realiza¸c˜ao tranquila de exames presenciais . . . . . . . . . 128
8.8 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Este cap´ıtulo complementa o anterior, fornecendo detalhes sobre o processo de cria¸c˜ao e
corre¸c˜ao de exames que envolvem tanto o Quadro de Respostas (QR) quanto os enunciados das
quest˜oes de m´ultipla escolha (QMs), como exemplificado nos Cap´ıtulos 4 – Quest˜oes est´aticas e 5 –
Quest˜oes param´etricas para quest˜oes com c´odigo em Python.
Esse estilo de exame com QR+QM tem sido amplamente utilizado na Especializa¸c˜ao em Tec-
nologia e Sistemas de Informa¸c˜ao (TSI) da UFABC, como introduzido no Cap´ıtulo 1, nos processos
seletivos desde 2017. Anteriormente, desde 2012, j´a se utilizava o MCTest em vers˜oes anteriores,
com QR+QM, por´em em um formato de exame que empregava editores de texto como o Word ou
o BROffice, com uma ´unica folha frente e verso, para evitar a necessidade de grampear as folhas de
milhares de candidatos nos processos seletivos. O avan¸co significativo no MCTest ocorreu na vers˜ao
4, quando passou a ser poss´ıvel criar os exames utilizando o L
A
T
E
X, o que permitiu tamb´em a inclus˜ao
de blocos de c´odigo Python para a elabora¸c˜ao de quest˜oes param´etricas, conforme apresentado no
Cap´ıtulo 5 – Quest˜oes param´etricas. A vers˜ao mais recente do MCTest, dispon´ıvel na web, possi-
bilitou o armazenamento das quest˜oes em um banco de dados, juntamente com toda uma estrutura
para gerenciar um sistema acadˆemico voltado exclusivamente para avalia¸c˜oes. Esses avan¸cos tˆem sido
123
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
objeto de diversas publica¸c˜oes e tamb´em motivaram a escrita deste livro, com o intuito de registrar
as principais caracter´ısticas de tudo o que foi desenvolvido e validado em avalia¸c˜oes dos mais diversos
estilos.
Al´em das QMs, tamb´em ´e poss´ıvel incluir quest˜oes dissertativas (QTs) nos exames, ap´os a
apresenta¸c˜ao das QMs. Essa abordagem permite uma maior diversidade nos tipos de quest˜oes e uma
avalia¸c˜ao mais abrangente das habilidades dos estudantes.
No Cap´ıtulo 6 – Vis˜ao geral dos exames, foi introduzido como criar exames contendo QR+QM,
abordando detalhes sobre o formul´ario do exame. Agora, ser´a colocada em pr´atica a cria¸c˜ao de
exemplos de exames contendo QR+QM+QT, al´em de detalhar o processo de corre¸c˜ao autom´atica.
8.1 Criando QMs e uma QT
Uma forma pr´atica de criar quest˜oes n˜ao param´etricas no MCTest ´e utilizando um arquivo
TXT com todas as quest˜oes, conforme introduzido na Se¸c˜ao 4.1 – Tutoriais gerais sobre a navega¸c˜ao
de quest˜oes. Antes de prosseguir com a cria¸c˜ao das quest˜oes, ´e necess´ario criar o t´opico, por exemplo,
DE-TIC da disciplina, seguindo as instru¸c˜oes apresentadas na Se¸c˜ao 2.2.5 – T´opico.
A seguir, ser˜ao apresentadas sete quest˜oes que ser˜ao inclu´ıdas no MCTest. Ser˜ao duas
quest˜oes para o n´ıvel de dificuldade f´acil (QE), ou dificuldade 1, duas quest˜oes para o n´ıvel de di-
ficuldade m´edio (QM), ou dificuldade 3, e trˆes quest˜oes para o n´ıvel de dificuldade dif´ıcil (QH), ou
dificuldade 5. Para otimizar o processo de upload, sugere-se agrup´a-las em um ´unico arquivo TXT.
Arquivo CSV, quest˜oes f´aceis
QE::DE-TIC::
Qual ´e o componente principal de um computador que armazena dados e programas?
A: Mem´oria RAM % alternativa correta - sempre a primeira
A: Placa-m~ae
A: Processador
A: Teclado
A: Placa de v´ıdeo
QE::DE-TIC::
Qual dos seguintes dispositivos ´e usado exclusivamente para entrada de dados em um computador?
A: Teclado
A: Impressora
A: Caixa de som
A: Monitor
A: Placa de v´ıdeo
Francisco de Assis Zampirolli MCTest 124
8.1. CRIANDO QMS E UMA QT
Arquivo CSV, quest˜oes de n´ıvel m´edio
QM::DE-TIC::
O que significa a sigla HTML?
A: HyperText Markup Language
A: High Technical Machine Language
A: Home Tool Management Language
A: Hyper Transfer Machine Learning
A: Hardware Technical Maintenance Language
QM::DE-TIC::
Qual das seguintes linguagens de programa¸c~ao ´e amplamente utilizada para o desenvolvimento de
sites din^amicos?
A: JavaScript
A: HTML
A: CSS
A: Python
A: C++
Arquivo CSV, quest˜oes dif´ıceis
QH::DE-TIC::
Qual das seguintes op¸c~oes representa corretamente um endere¸co IP v´alido?
A: 127.0.0.1
A: 192.168.0.300
A: 10.0.0.256
A: 172.16.0.0
A: 256.256.256.256
QH::DE-TIC::
Qual dos seguintes protocolos de internet ´e utilizado para enviar e-mails?
A: SMTP
A: FTP
A: HTTP
A: DNS
A: SSH
QH::DE-TIC::
Qual ´e o resultado da soma dos n´umeros hexadecimais 7C e 54?
A: D0
A: F0
A: D4
A: D1
A: E0
A quest˜ao apresentada no C´odigo 8.1 ´e um exemplo de QT que cont´em um valor exato
como resposta correta, delimitado pelos marcadores %%{ e }%%, conforme indicado na linha 5 do
c´odigo. Neste caso, ´e utilizada a palavra “exata” como exemplo para ilustrar o funcionamento dessa
Francisco de Assis Zampirolli MCTest 125
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
abordagem. Na linha 7 do c´odigo, s˜ao desenhadas 10 linhas para que o estudante possa responder `a
quest˜ao. Na pr´oxima se¸c˜ao, ser´a explorada essa funcionalidade com mais detalhes.
Quest˜ao:
1 Descreva brevemente a import^ancia da tecnologia da informa¸c~ao (TI) na
2 sociedade moderna e mencione pelo menos duas ´areas onde a TI desempenha
3 um papel fundamental.
4
5 %%{exata}%%
6
7 \drawLines{10}
C´odigo 8.1: Exemplo de QT com resposta exata.
Ao criar o exame, selecione as sete QMs, escolhendo duas quest˜oes em cada n´ıvel de dificul-
dade, conforme ilustrado na Figura 8.1. Al´em disso, inclua uma QT como exemplo. Certifique-se de
marcar a op¸c˜ao “Respostas/Quest˜oes/Ambos=Ambos” para incluir tanto o QR quanto as quest˜oes
(QM e QT) no exame. Mais informa¸c˜oes sobre essa configura¸c˜ao podem ser encontradas na Se¸c˜ao
6.5 – Recorte IV da tela de exame – configurando os detalhes.
Figura 8.1: Recorte da tela de configura¸c˜ao do exame.
8.2 Criando as varia¸c˜oes
Antes de criar o PDF do exame, ´e necess´ario criar as varia¸c˜oes clicando no bot˜ao “Criar-
Varia¸c˜oes” (observe que ao lado deste bot˜ao h´a um ID inicialmente definido como 0, que ser´a alterado
Francisco de Assis Zampirolli MCTest 126
8.3. DETALHANDO OS GABARITOS NO ARQUIVO CSV
quando o bot˜ao for pressionado).
´
E importante detalhar mais essa op¸c˜ao, conforme ilustrado na
Figura 8.2.
Ao marcar a op¸c˜ao “Json”, se a quest˜ao for de integra¸c˜ao entre MCTest, Moodle e VPL, ser´a
enviado ao e-mail do professor um arquivo linker.json contendo os casos de teste a serem inclu´ıdos
na atividade VPL do Moodle. Se a op¸c˜ao “Template” for selecionada, ser´a criado um arquivo CSV
contendo o gabarito das QMs, bem como QTs com respostas curtas, para ser poss´ıvel comparar as
respostas exatas, caractere por caractere.
As op¸c˜oes “Aiken” e “XML” s˜ao utilizadas para gerar arquivos que podem ser importados
para criar um banco de quest˜oes no Moodle. Por fim, ao selecionar a op¸c˜ao “LaTeX+PDF”, o
professor receber´a um PDF contendo todas as varia¸c˜oes do exame. No exemplo ilustrado na Figura
8.1, foram criadas apenas duas varia¸c˜oes. Vale ressaltar que existem artigos validando cada m´etodo
utilizado nesses bot˜oes, os quais ser˜ao detalhados na parte de experimentos deste livro.
Figura 8.2: Recorte da tela de configura¸c˜ao do exame, detalhando o bot˜ao “Criar-Varia¸c˜oes”.
Assim, antes de criar o PDF do exame, marque a op¸c˜ao “Template” na Figura 8.2 para
receber o gabarito e clique em “Criar-Varia¸c˜oes”. Nesse exemplo, uma nova aba ser´a aberta no
navegador exibindo a mensagem apresentada na Figura 8.3.
Figura 8.3: Mensagem ap´os clicar no bot˜ao “Criar-Varia¸c˜oes”.
8.3 Detalhando os gabaritos no arquivo CSV
Ap´os clicar em “Criar-Varia¸c˜oes”, selecionando antes a op¸c˜ao “Template”, o professor rece-
ber´a um e-mail contendo o seguinte arquivo com os gabaritos, conforme ilustrado na Figura 8.4.
Francisco de Assis Zampirolli MCTest 127
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
Arquivo CSV, com os gabaritos (as colunas s˜ao separadas por v´ırgula)
variation Q1 Q2 Q3 Q4 Q5 Q6 Q7 K1 K2 K3 K4 K5 K6
0 A B C A A A exata 245604231 245540123 245823041 245703214 245904132 246002413
1 C A B E A E exata 245612043 245503421 245830214 245741320 246104132 246032140
Figura 8.4: E-mail enviado ao professor ap´os clicar no bot˜ao “Criar-Varia¸c˜oes”.
No arquivo em quest˜ao, a primeira coluna variation apresenta a varia¸c˜ao do exame. No
exemplo mostrado na Figura 8.1, foram escolhidas apenas duas varia¸c˜oes, identificadas como varia¸c˜ao
0 e varia¸c˜ao 1. Em seguida, s˜ao apresentadas as respostas corretas para cada uma das sete quest˜oes
do exame, identificadas como Q1 at´e Q7.
A quest˜ao Q7 ´e uma QT e foi definida em seu enunciado a sequˆencia %%{exata}%%, indicando
para o MCTest que essa quest˜ao tem uma resposta exata contendo o texto “exata”.
´
E importante
ressaltar que ´e poss´ıvel incluir quest˜oes param´etricas, onde cada varia¸c˜ao pode apresentar uma
resposta correta diferente. Essa flexibilidade ´e discutida em detalhes no trabalho de Zampirolli,
Batista, Iriarte e Junior (2020), que descreve a aplica¸c˜ao dessas t´ecnicas na disciplina de C´alculo 1.
Na parte de experimentos deste livro, essas abordagens ser˜ao apresentadas de forma mais detalhada,
explorando suas aplica¸c˜oes e resultados.
Ap´os as respostas corretas, s˜ao criadas novas colunas de K1 at´e K6 para detalhar o sorteio
realizado em cada varia¸c˜ao do exame para as QMs. Por exemplo, na varia¸c˜ao 1 (segunda varia¸c˜ao), a
quest˜ao K1 tem o valor 245612043. Como s˜ao QMs com 5 alternativas, o valor 12043 indica a ordem
das alternativas da quest˜ao 2456 (ID da quest˜ao no banco de dados). Sabendo que a alternativa
correta sempre ´e a primeira (´ındice 0), pode-se concluir que a alternativa correta para essa quest˜ao
´e a letra C. Portanto, a alternativa A corresponde `a segunda alternativa no banco de dados (´ındice
1), a alternativa B corresponde `a terceira (´ındice 2), a alternativa C corresponde `a primeira correta
(´ındice 0), a alternativa D corresponde `a quinta (´ındice 4) e a alternativa E corresponde `a quarta
Francisco de Assis Zampirolli MCTest 128
8.4. CRIANDO O PDF DO EXAME COM QR+QM+QT
(´ındice 3), resultando na sequˆencia 12043.
Ao analisar o sorteio das quest˜oes em ambas as varia¸c˜oes, foram selecionadas sete QMs. No
entanto, para cada exame, apenas seis quest˜oes ser˜ao sorteadas, conforme a configura¸c˜ao previamente
definida. No arquivo CSV, ´e poss´ıvel observar que apenas a quest˜ao Q5 apresentou varia¸c˜oes diferentes
das demais quest˜oes (consulte a coluna K5, com quest˜oes de ID 2459 e 2461).
Uma estrutura de atribui¸c˜ao de pesos diferentes para cada alternativa marcada ´e detalhada
no trabalho de Zampirolli, Batista, Iriarte e Junior (2020), onde s˜ao apresentadas abordagens para
avaliar o desempenho dos estudantes considerando a relevˆancia das respostas em QMs.
Aten¸c˜ao:
´
E extremamente importante verificar se o gabarito gerado corresponde ao PDF que ser´a dis-
tribu´ıdo aos estudantes.
1. O ID da varia¸c˜ao ser´a alterado toda vez que o bot˜ao “Criar-Varia¸c˜oes” for acionado;
2. Esse n´umero de ID tamb´em ser´a impresso no PDF gerado, abaixo do cabe¸calho do
exame, em vermelho. Por exemplo, #E477#V60970 -- 2023-07-09 -- 14:58:34. No
exemplo mencionado, o exame possui o ID 477 e a varia¸c˜ao ´e 60970;
3. No momento em que o bot˜ao “Criar-Varia¸c˜oes” ´e acionado, uma “fotografia” das quest˜oes
selecionadas no exame ´e armazenada no banco de dados para cada varia¸c˜ao. Essa “foto-
grafia” representa o estado atual das quest˜oes e ´e independente de eventuais altera¸c˜oes
realizadas posteriormente pelo coordenador da disciplina ou professor que criou alguma
destas quest˜oes. Esse recurso de seguran¸ca garante que as varia¸c˜oes do exame per-
mane¸cam consistentes, mesmo que haja modifica¸c˜oes nas quest˜oes originais.
8.4 Criando o PDF do exame com QR+QM+QT
Ap´os a cria¸c˜ao das varia¸c˜oes, a pr´oxima etapa do processo de cria¸c˜ao do exame consiste em
gerar o PDF contendo os QRs, as QMs e QTs, caso estejam presentes no exame. Essa etapa ´e
realizada ao clicar no bot˜ao “Criar-PDF” no painel de configura¸c˜ao do exame.
Ao gerar o PDF, todas as varia¸c˜oes do exame ser˜ao inclu´ıdas, garantindo a diversifica¸c˜ao
das quest˜oes e respostas. Os QRs ser˜ao apresentados para os estudantes poderem preencher suas
respostas, e as QMs e QTs ser˜ao apresentadas conforme a configura¸c˜ao do exame. A ordem das
quest˜oes impressas no PDF gerado segue a ordem de dificuldade de 1 a 5 para as QMs. Em seguida,
as QTs ser˜ao apresentadas na mesma ordem.
´
E de extrema importˆancia revisar o PDF gerado para garantir a correta formata¸c˜ao das
quest˜oes, respostas e demais elementos antes de disponibiliz´a-lo aos estudantes. Al´em disso, ´e v´alido
ressaltar que ser´a criado um PDF para cada turma selecionada no exame, conforme detalhado na
Se¸c˜ao 6.3 – Recorte II da tela de exame – turmas. No contexto do exame criado nas se¸c˜oes anteriores,
foi gerado o PDF ilustrado na Figura 8.5.
Francisco de Assis Zampirolli MCTest 129
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
Figura 8.5: Recorte do PDF do exame gerado ap´os a a¸c˜ao do bot˜ao “Criar-PDF”.
Ap´os a gera¸c˜ao do PDF do exame, ser´a enviado por e-mail ao professor o arquivo L
A
T
E
X
correspondente a cada turma selecionada. Esse arquivo pode ser ´util caso o professor deseje reali-
zar altera¸c˜oes manuais no exame, embora seja importante ressaltar que o QRcode ´e espec´ıfico de
cada estudante, para garantir a corre¸c˜ao autom´atica. No exemplo fornecido, o arquivo gerado ´e o
_e477_class_670_varID_60970.tex.
Al´em do arquivo L
A
T
E
X, o e-mail tamb´em conter´a um arquivo CSV anexado, que apresenta
as varia¸c˜oes sorteadas para cada estudante. No exemplo mencionado, o arquivo ´e denominado
report_Exam_477_varID_60970_students_variations.csv. Caso haja mais turmas selecionadas
para o exame, todos os estudantes de todas as turmas ser˜ao listados em um ´unico arquivo CSV, que
corresponde ao exame com o ID 477.
Ao observar a Figura 8.6, ´e poss´ıvel verificar um trecho do e-mail encaminhado ao professor
ap´os acionar o bot˜ao “Criar-PDF” contendo os trˆes arquivos a seguir:
Francisco de Assis Zampirolli MCTest 130
8.4. CRIANDO O PDF DO EXAME COM QR+QM+QT
Arquivos anexados ao e-mail enviado ao professor
_e477_varID_60970_class_670.pdf
_e477_varID_60970_class_670.tex
_e477_varID_60970_class_670_students_variations.csv
_e477_varID_60970_class_670_variations.csv
Figura 8.6: E-mail enviado ao professor ap´os clicar no bot˜ao “Criar-PDF”.
Arquivo e477 varID 60970 students variations.csv, com as varia¸c˜oes de cada estudante
Name Variation
Estudante Exemplo Sobrenome 1
Arquivo e477 varID 60970 variations.csv, com as varia¸c˜oes de cada estudante, com turma
e soma das notas de exames anteriores
Room ID Name Variation SumLatestGrades
fz-turmaTeste 00001 Estudante Exemplo Sobrenome 1 0
Francisco de Assis Zampirolli MCTest 131
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
Aten¸c˜ao:
Foi adotado o seguinte crit´erio de sorteio de varia¸c˜oes para os estudantes:
1. Se o n´umero de varia¸c˜oes definido for menor que o n´umero de estudantes em cada turma,
ser´a sorteada uma varia¸c˜ao para os estudantes baseado no hash gerado a partir do nome
e sobrenome do estudante. Dessa forma, ao clicar em “Criar-PDF”, ser´a atribu´ıda a
mesma varia¸c˜ao para cada estudante;
2. Caso contr´ario, ou seja, se o n´umero de varia¸c˜oes definido no exame for maior ou igual
que o n´umero de estudantes da turma, ser´a sorteada uma varia¸c˜ao diferente para cada
estudante a cada vez que o bot˜ao “Criar-PDF” for acionado.
8.5 Corrigindo exames com QR+QM
Ao corrigir exames que contˆem QR e QMs utilizando o MCTest, o processo ´e mais simples
em compara¸c˜ao com a corre¸c˜ao de exames apenas com QR, conforme detalhado na Se¸c˜ao 7.3 –
Corrigindo exames com QR.
O gabarito de cada exame ´e armazenado no servidor do MCTest. Ele ´e identificado atrav´es
da decodifica¸c˜ao do QRcode, sendo criptografado e compactado, como ilustrado na Figura 8.5.
´
E poss´ıvel verificar as respostas correspondentes ao gabarito apresentado no CSV na Se¸c˜ao
8.3 – Detalhando os gabaritos no arquivo CSV, considerando a varia¸c˜ao 1, conforme apresentado
no CSV da se¸c˜ao anterior. Portanto, as respostas para as quest˜oes Q1 at´e Q7 s˜ao, respectivamente:
C, A, B, E, A, E, exata.
Imprimindo o PDF apresentado na Figura 8.5, selecionando a op¸c˜ao “Retorno=Sim” e sal-
vando o exame, preenchendo as quest˜oes, digitalizando e enviando para o bot˜ao “Upload-PDF”, o
estudante receber´a o feedback apresentado na Figura 8.7 por e-mail.
Al´em disso, o professor receber´a as corre¸c˜oes realizadas em um arquivo ZIP, conforme deta-
lhado na Se¸c˜ao 7.3, que conter´a os seguintes arquivos:
Arquivos gerados ao solicitar a corre¸c˜ao do exame no bot˜ao “Upload-PDF”
studentEmail_e477.zip
_e477_fzampirolli@ufabc.edu.br_ScanFileQR_QM_RETURN__.csv
_e477_fzampirolli@ufabc.edu.br_ScanFileQR_QM_RETURN_irt.csv
_e477_fzampirolli@ufabc.edu.br_ScanFileQR_QM_RETURN_p001_s1_q006.png
_e477_fzampirolli@ufabc.edu.br_ScanFileQR_QM_RETURN_statistics.csv
O arquivo studentEmail_e477.zip cont´em todos os arquivos PDF enviados aos estudantes,
caso tenham escolhido “Retorno=SIM” no formul´ario do exame. Um exemplo ´e apresentado na
Figura 8.7, exibindo tamb´em as quest˜oes, as respostas do estudante e a alternativa correta. Esses
enunciados s˜ao inclu´ıdos no PDF quando a caixa abaixo do bot˜ao “Upload-PDF” ´e marcada; caso
Francisco de Assis Zampirolli MCTest 132
8.5. CORRIGINDO EXAMES COM QR+QM
Figura 8.7: Recorte do e-mail com parte do PDF do exame enviado como feedaback ao estudante,
ap´os a a¸c˜ao do bot˜ao “Upload-PDF”.
contr´ario, apenas a imagem, as informa¸c˜oes do estudante e sua nota s˜ao enviadas.
Francisco de Assis Zampirolli MCTest 133
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
Destaque:
Um destaque inclu´ıdo na vers˜ao mais recente do MCTest ´e apresentar as quest˜oes e as alter-
nativas armazenadas nas varia¸c˜oes salvas no banco de dados. Ou seja, quando h´a quest˜oes
param´etricas, ´e exibida a “fotografia” da quest˜ao criada no momento em que o bot˜ao “Criar-
Varia¸c˜oes” foi pressionado. J´a o feedback ´e apresentado obtendo o atributo da pr´opria quest˜ao,
que n˜ao pode ser parametrizado e pode ser alterado a qualquer momento, sendo inclu´ıdo no
PDF a ser enviado ao estudante. Para isso, foi necess´ario incluir no QRCode informa¸c˜oes da
chave da varia¸c˜ao do exame sorteada para cada estudante.
Conforme explicado na Se¸c˜ao 7.3.1 – Arquivo CSV com as corre¸c˜oes, o primeiro arquivo CSV,
*_.csv, apresenta o seguinte conte´udo:
Conte´udo do arquivo * .csv gerado (as colunas s˜ao separadas por v´ırgula)
Pag ID Resp Quest Inv Grad Q1 Q2 Q3 Q4 Q5 Q6 K1 K2 K3 K4 K5 K6
1 001 5 6 1 1 E/C D/A C/B B/E A 2/E 245612043 245503421 245830214 245741320 246104132 246032140
No arquivo em quest˜ao, ´e poss´ıvel observar nas colunas Q1 at´e Q6 a nota¸c˜ao apresentada
na Se¸c˜ao 7.3.1, agora com a adi¸c˜ao de resposta marcada/resposta correta. Por exemplo, na
quest˜ao Q1 tem a nota¸c˜ao E/C, indicando que a alternativa marcada pelo estudante foi a E, enquanto
a resposta correta ´e a C. Tamb´em ´e poss´ıvel notar a presen¸ca de uma quest˜ao inv´alida na coluna
Inv, referente `a quest˜ao Q6, que apresenta o conte´udo 2/E. Isso indica que duas alternativas foram
marcadas, sendo que na Figura 8.7 ´e poss´ıvel observar que a alternativa A foi marcada, mas tamb´em
foi realizada uma pequena marca¸c˜ao na alternativa E, invalidando a quest˜ao. Neste exemplo, a ´unica
marca¸c˜ao correta ´e na quest˜ao Q5.
A Figura 8.7 apresenta um relat´orio com os dados do estudante, a nota obtida e os enunciados
das quest˜oes, incluindo as marca¸c˜oes realizadas e a alternativa correta de cada quest˜ao. As colunas
K1 at´e K6 foram previamente explicadas na Se¸c˜ao 8.3 – Detalhando os gabaritos no arquivo CSV.
8.6 Exames adaptativos
Abaixo do bot˜ao “Criar-PDF” na tela de exame, conforme ilustrado na Figura 6.4, encontram-
se duas barras de rolagem. A primeira permite definir o tamanho da fonte do arquivo PDF gerado com
o exame. A segunda barra de rolagem possibilita definir o n´umero de exames anteriores realizados
por cada estudante a ser considerado. Por exemplo, se o valor selecionado for 1, ser´a considerada
apenas a nota do ´ultimo exame para definir qual varia¸c˜ao deste ser´a destinada aos estudantes.
Para que este m´etodo de exame adaptativo funcione adequadamente, ´e necess´ario definir
a taxonomia de Bloom para cada quest˜ao, nos 6 poss´ıveis n´ıveis: lembrar, compreender, aplicar,
analisar, avaliar e criar. Cada um desses n´ıveis recebe um valor de 1 a 6, respectivamente. Quando,
para cada n´ıvel de dificuldade, s˜ao escolhidas v´arias quest˜oes com taxonomias distintas, cada varia¸c˜ao
do exame poder´a apresentar pesos diferentes considerando essas taxonomias. Por exemplo, se um
Francisco de Assis Zampirolli MCTest 134
8.6. EXAMES ADAPTATIVOS
exame definir 5 quest˜oes com dificuldade 1, por´em houver 10 quest˜oes marcadas para esse mesmo
n´ıvel 1, al´em disso, foi decidida a cria¸c˜ao de 20 varia¸c˜oes de exames, teremos ent˜ao varia¸c˜oes com
somat´orios distintos dos pesos dos n´ıveis dessa taxonomia.
Para ilustrar esse processo, foi criado um exame com 3 QM e 1 QT, todas com dificuldade
1. Al´em disso, foram selecionadas 6 QM para serem sorteadas, com apenas 3 delas sendo escolhidas
com base no desempenho do estudante em exames recentes. Na barra de rolagem, foi escolhido o
n´umero 6 para o exame adaptativo, ou seja, ser˜ao somadas as 6 ´ultimas notas dos exames realizados
pelo estudante. Foram solicitadas a cria¸c˜ao de 20 varia¸c˜oes de exames ap´os clicar no bot˜ao “Criar-
Varia¸c˜oes”. Tamb´em foram selecionadas duas turmas. Ap´os clicar no bot˜ao “Criar-PDF”, os arquivos
foram enviados para o email do professor, al´em de um download de um arquivo compactado contendo
os seguintes arquivos.
Arquivos gerados ao solicitar criar PDF com o bot˜ao“Criar-PDF”
_e482_varID_61011_adaptive_test.csv
_e482_varID_61011_adaptive_test_variations_by_bloom.csv
_e482_varID_61011_class_669.pdf
_e482_varID_61011_class_669.tex
_e482_varID_61011_class_670.pdf
_e482_varID_61011_class_670.tex
_e482_varID_61011_students_variations.csv
_e482_varID_61011_variations.csv
O primeiro arquivo _e482_varID_61011_adaptive_test.csv possui na primeira coluna as
20 varia¸c˜oes do exame, na segunda coluna a chave das varia¸c˜oes no BD e na terceira coluna a soma dos
n´ıveis da taxonomia de Bloom para as quest˜oes sorteadas para cada varia¸c˜ao, em ordem crescente.
Observam-se as quest˜oes com varia¸c˜oes 7 e 13 com o mesmo n´ıvel de dificuldade 7. Al´em disso,
apenas a varia¸c˜ao 9 tem dificuldade 15.
Francisco de Assis Zampirolli MCTest 135
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
Arquivo e482 varID 61011 adaptive test.csv
Variation VariationID SumBloomQuestions
7 61017 7
13 61023 7
6 61016 8
12 61022 9
14 61024 9
15 61025 9
17 61027 9
3 61013 10
4 61014 10
20 61030 10
16 61026 11
18 61028 11
2 61012 12
8 61018 12
11 61021 12
1 61011 13
10 61020 13
19 61029 13
5 61015 14
9 61019 15
Arquivo e482 varID 61011 adaptive test.csv
RoomID RoomCode NomeAluno EmailAluno
670 fz-turmaTeste Estudante Exemplo Sobrenome fzampirolli@ufabc.edu.br
669 Turma Exemplo Jo~ao da Silva joao@aluno.ufabc.edu.br
669 Turma Exemplo Maria da Silva Andrade de S Gon¸calves maria@aluno.ufabc.edu.br
Continua¸c˜ao do arquivo e482 varID 61011 adaptive test.csv
IDExame1 DataExame1 GradeExame1 IDExame2 DataExame2 GradeExame2
476 2023-07-06 18.0 477 2023-07-09 1.0
475 2023-04-17 482 2023-11-19 0.0
475 2023-04-17 482 2023-11-19 0.0
Continua¸c˜ao do arquivo e482 varID 61011 adaptive test.csv
DExame3 DataExame3 SumLatestGrades
478.0 2023-07-11 19.0
Francisco de Assis Zampirolli MCTest 136
8.7. RECOMENDAC¸
˜
OES PARA REALIZAC¸
˜
AO TRANQUILA DE EXAMES PRESENCIAIS
O ´ultimo valor de cada linha representa o somat´orio das ´ultimas 6 avalia¸c˜oes do estudante.
As avalia¸c˜oes de 4 a 6 n˜ao foram apresentadas, pois n˜ao tiveram notas associadas. O arquivo
_e482_varID_61011_variations.csv a seguir resume esses dados, com a varia¸c˜ao sorteada para
cada estudante. Observa-se que as duas varia¸c˜oes (7 e 13) com a menor soma pela taxonomia de
Bloom (7) foram sorteadas para os alunos da turma Turma Exemplo.
Arquivo e482 varID 61011 variations.csv
Room ID Name Variation SumLatestGrades
fz-turmaTeste 1 Estudante Exemplo Sobrenome 9 19.0
Turma Exemplo 123 Jo~ao da Silva 7 0.0
Turma Exemplo 987 Maria da Silva Andrade de S Gon¸calves 13 0.0
Uma parte crucial desse processo adaptativo ´e a sele¸c˜ao apropriada das quest˜oes, classificadas
com base na taxonomia de Bloom.
´
E essencial garantir que as quest˜oes sejam bem definidas e
alinhadas aos objetivos de aprendizagem. Al´em disso, esse m´etodo adaptativo deve motivar os
estudantes a permanecerem engajados na disciplina, evitando a imposi¸c˜ao de exames excessivamente
dif´ıceis como forma de penaliza¸c˜ao ou demasiadamente f´aceis, o que resultaria em atribui¸c˜ao injusta
de conceitos.
8.7 Recomenda¸c˜oes para realiza¸c˜ao tranquila de exames presenci-
ais
Com base na experiˆencia de in´umeros exames aplicados e corrigidos, ´e poss´ıvel destacar
algumas recomenda¸c˜oes essenciais para garantir a realiza¸c˜ao tranquila do processo e permitir o
melhor desempenho de todos os envolvidos:
1. Revisar cuidadosamente todas as quest˜oes, a fim de evitar erros ou ambiguidades que compro-
metam a aplica¸c˜ao ou corre¸c˜ao. Quest˜oes mal elaboradas podem prejudicar a validade de todo
o exame;
2. Ap´os selecionar as quest˜oes e configurar o estilo, crie as varia¸c˜oes de exame marcando a caixa
“Template” ao lado do bot˜ao “Criar-Varia¸c˜oes”. Isso assegura que o sistema gere os gabaritos
corretos e possibilite a corre¸c˜ao autom´atica por meio do QRCode (se houver algum erro na
leitura do QRCode durante a corre¸c˜ao autom´atica, o gabarito enviado por e-mail dever´a ser
usado – certifique-se de guardar o arquivo CSV com cuidado);
3. Cada vez que vocˆe clicar em “Criar-Varia¸c˜oes”, o ID ser´a alterado, gerando novas varia¸c˜oes
com gabaritos diferentes no banco de dados. Para aplicar o exame, verifique se o ID ao lado
deste bot˜ao corresponde ao ID em vermelho no PDF do exame (n˜ao se esque¸ca de atualizar a
p´agina para atualizar o ID). Isso ´e fundamental para garantir a corre¸c˜ao autom´atica, pois o ID
gerado deve sempre coincidir com o do exame aplicado;
Francisco de Assis Zampirolli MCTest 137
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
4.
´
E vi´avel empregar as varia¸c˜oes existentes no banco de dados em m´ultiplas turmas, com a
simples modifica¸c˜ao da turma no exame, seguida dos bot˜oes “Salvar” e “Criar-PDF”;
5. Deixar “Retorno” como “N˜ao” ao criar os exames, caso contr´ario elas ser˜ao enviadas aos
estudantes por e-mail antes da aplica¸c˜ao;
6. Imprima um ´unico exemplar do exame antes de produzir toda a tiragem, a fim de validar.
Preencha o exame, digitalize e solicite a corre¸c˜ao autom´atica enviando o PDF e selecionando o
bot˜ao “Upload-PDF”. Isso permite verificar se o sistema gerou o exame corretamente e realizou
a corre¸c˜ao autom´atica adequadamente. Al´em disso, verifique se todos os exames ocupam apenas
uma p´agina frente e verso, evitando a necessidade de grampear folhas. Se todos os PDFs gerados
estiverem corretos, solicite a impress˜ao no modo frente e verso, utilizando uma impressora com
bom toner. Por fim, verifique se a impress˜ao foi realizada com sucesso, garantindo que os
quatro discos pretos que delimitam o QR est˜ao intactos e sem cortes na folha;
7. Organizar os exames em ordem alfab´etica sobre as filas de carteiras da sala, de modo que os
estudantes n˜ao tenham d´uvidas sobre qual ´e a deles. Isso garante que todos tenham acesso aos
seus exames de forma r´apida e organizada. Esse processo geralmente leva cerca de 10 minutos
para 100 exames;
8. Instrua os estudantes a n˜ao utilizar fluidos de corre¸c˜ao (conhecidos como “branquinho”) ou fazer
rascunhos nos espa¸cos designados pelos quatro discos pretos, a fim de evitar a interferˆencia na
corre¸c˜ao autom´atica dos gabaritos;
9. Digitalizar somente a frente dos exames em um ´unico arquivo PDF por turma para permitir
a corre¸c˜ao em larga escala de maneira ´agil e livre de erros. Evite o uso de impressoras que
possam “engolir” as folhas;
10. Se ocorrer erro na decodifica¸c˜ao do QRCode, ´e poss´ıvel digitalizar apenas os exames com
erro, utilizando diferentes configura¸c˜oes de digitaliza¸c˜ao da impressora. Outra alternativa ´e
a corre¸c˜ao manual, usando o gabarito enviado por e-mail. Certifique-se de verificar qual ´e a
varia¸c˜ao do exame do estudante recebido por e-mail ao clicar em “Criar-PDF” e o gabarito da
varia¸c˜ao recebida tamb´em por e-mail ao clicar em “Criar Varia¸c˜ao”;
11. Envie os resultados aos estudantes somente ap´os validar as corre¸c˜oes para assegurar que tudo
ocorreu conforme o esperado e n˜ao h´a erros. Se desejar enviar um gabarito aos estudantes
apenas com QR, sem as quest˜oes, marque “Retorno” como “SIM” e n˜ao selecione a caixa
abaixo do bot˜ao “Upload-PDF”. Em seguida, escolha o arquivo e clique no bot˜ao para realizar
a corre¸c˜ao autom´atica e enviar os feedbacks aos estudantes por e-mail.
Seguir essas recomenda¸c˜oes ´e crucial para a realiza¸c˜ao de exames presenciais tranquilamente.
´
E essencial revisar as quest˜oes, criar varia¸c˜oes e verificar os IDs tanto na p´agina do exame quanto no
PDF. Garantir a impress˜ao correta do PDF, sem cortes no QR, ´e importante. Al´em disso, realizar
a valida¸c˜ao das corre¸c˜oes antes de enviar os resultados assegura a qualidade e precis˜ao do processo.
Ao seguir essas recomenda¸c˜oes, ´e poss´ıvel promover a eficiˆencia da corre¸c˜ao automatizada.
Francisco de Assis Zampirolli MCTest 138
8.8. CONSIDERAC¸
˜
OES FINAIS
8.8 Considera¸c˜oes finais
Este cap´ıtulo abordou a cria¸c˜ao e corre¸c˜ao de exames que envolvem tanto o QR quanto as
QMs, al´em das QTs. Essa combina¸c˜ao de quest˜oes permite uma avalia¸c˜ao abrangente das habilidades
dos estudantes e tem sido amplamente utilizada na Especializa¸c˜ao em Tecnologia e Sistemas de
Informa¸c˜ao (TSI) da UFABC, como mencionado no Cap´ıtulo 1.
No processo de cria¸c˜ao dos exames, ´e necess´ario criar as QMs e QTs, seguindo as instru¸c˜oes
fornecidas neste cap´ıtulo, bem como nos Cap´ıtulos 4 – Quest˜oes est´aticas e 5 – Quest˜oes param´etricas.
A utiliza¸c˜ao de arquivos TXT para criar as quest˜oes n˜ao param´etricas ´e uma abordagem pr´atica e
eficiente para inseri-las no MCTest. Al´em disso, ´e fundamental criar as varia¸c˜oes do exame por meio
do bot˜ao “Criar-Varia¸c˜oes”. Essa etapa garante a diversifica¸c˜ao das quest˜oes e respostas disponibi-
lizadas aos estudantes.
Ap´os a cria¸c˜ao das varia¸c˜oes, ´e poss´ıvel gerar o PDF do exame, incluindo os QR, QM e QT,
atrav´es do bot˜ao “Criar-PDF”.
´
E essencial revisar o PDF gerado para garantir a formata¸c˜ao correta
das quest˜oes, respostas e demais elementos antes de disponibiliz´a-lo aos estudantes.
Na etapa de corre¸c˜ao dos exames, o processo ´e simplificado quando se utiliza o MCTest, pois
o gabarito ´e armazenado no servidor. O gabarito ´e identificado atrav´es da decodifica¸c˜ao do QRcode
e pode ser verificado a partir do CSV dos gabaritos correspondentes, caso a op¸c˜ao “Template” tenha
sido selecionada antes de clicar em “Criar-Varia¸c˜oes”. As respostas corretas para cada quest˜ao podem
ser obtidas dessa forma, como exemplificado no cap´ıtulo.
Ao enviar o PDF preenchido pelos estudantes atrav´es do bot˜ao “Upload-PDF”, e selecionar a
op¸c˜ao “Retorno=Sim”, o estudante receber´a um feedback detalhado por e-mail, contendo as corre¸c˜oes
realizadas. O professor tamb´em receber´a um arquivo ZIP com as corre¸c˜oes realizadas em formato
CSV, al´em de v´arios outros arquivos j´a citados anteriormente, facilitando a an´alise e o registro das
corre¸c˜oes.
No pr´oximo cap´ıtulo, ser˜ao explorados os formatos de arquivos Aiken e XML ao criar varia¸c˜oes
de um exame. Esses recursos s˜ao altamente ´uteis para a cria¸c˜ao de bancos de quest˜oes no Moodle.
Francisco de Assis Zampirolli MCTest 139
CAP
´
ITULO 8. EXAMES COM QR+QM E/OU QT
Francisco de Assis Zampirolli MCTest 140
Cap´ıtulo 9
Varia¸c˜oes de exames com QM+QT para o Mo-
odle
Conte´udo
9.1 Criando exames e exportando arquivos Aiken e XML . . . . . . . . . . . . . . . 132
9.1.1 QM – equa¸c˜ao de primeiro grau – idade . . . . . . . . . . . . . . . . . . 132
9.1.2 QM – equa¸c˜ao da reta . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
9.1.3 QT com resposta exata – ordena parte do vetor . . . . . . . . . . . . . . 132
9.1.4 Criando exame e exportando as varia¸c˜oes . . . . . . . . . . . . . . . . . 135
9.2 Importando arquivo XML no Moodle . . . . . . . . . . . . . . . . . . . . . . . . 144
9.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Neste cap´ıtulo, ser´a apresentado um recurso interessante do MCTest que permite exportar
as varia¸c˜oes de um exame para arquivos nos formatos Aiken e XML, que podem ser utilizados pelo
Moodle para criar um banco de quest˜oes. Ser´a utilizado um exemplo de quest˜ao da ´area do c´ırculo
apresentada no Cap´ıtulo 8 – Exames com QR+QM e/ou QT, bem como a cria¸c˜ao de novas quest˜oes
para exemplificar melhor o processo. O artigo de Zampirolli, Batista, Pimentel e Braga (2021)
detalha este recurso, e aqui ´e resumido todo o processo.
Embora o Moodle suporte a cria¸c˜ao de quest˜oes parametrizadas, que utilizam valores cu-
ringa, essas quest˜oes tˆem limita¸c˜oes em rela¸c˜ao `as fun¸c˜oes disponibilizadas pela linguagem PHP.
Utilizar o MCTest para criar o banco de quest˜oes ´e vantajoso porque suporta muito mais varia¸c˜oes
de quest˜oes.
´
E poss´ıvel, por exemplo, criar um exame contendo QMs e QTs, com respostas exatas.
Em seguida, ´e configurado o exame para gerar varia¸c˜oes, salvando com um destes formatos Aiken
ou XML.
´
E poss´ıvel ent˜ao importar esses arquivos para o banco de quest˜oes no Moodle e criar uma
atividade, incluindo as quest˜oes rec´em-importadas. Dessa forma, ´e poss´ıvel criar atividades muito
mais parametrizadas do que as suportadas pelo Moodle utilizando os curingas.
Assim, apesar dos recursos dispon´ıveis no Moodle, ele ainda tem limita¸c˜oes na cria¸c˜ao de
141
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
quest˜oes. Neste cap´ıtulo, ser´a apresentado como tentar contornar essas restri¸c˜oes para criar exames
de qualidade.
9.1 Criando exames e exportando arquivos Aiken e XML
Ser´a criado um exame com trˆes QMs param´etricas, com quatro alternativas e uma QT com
resposta exata. A primeira quest˜ao ´e a ´area do c´ırculo, apresentada no segundo exemplo da Se¸c˜ao
5.1.2 – QM param´etrica no MCTest. As trˆes pr´oximas quest˜oes est˜ao definidas nas pr´oximas se¸c˜oes.
9.1.1 QM – equa¸c˜ao de primeiro grau – idade
O C´odigo 9.1 apresenta um algoritmo que soluciona o problema de encontrar as idades de duas
pessoas, dada a soma e a diferen¸ca entre elas. O m´etodo calcular_idades recebe como parˆametros
esses dois valores e utiliza equa¸c˜oes matem´aticas para determinar as idades da pessoa e do irm˜ao.
As idades s˜ao retornadas como uma string no formato “x e y”, onde x e y s˜ao as idades da pessoa e
do irm˜ao, respectivamente. Caso as idades n˜ao sejam n´umeros inteiros positivos, o m´etodo retorna
uma string vazia.
O programa utiliza o m´etodo random.sample para gerar aleatoriamente pares de valores de
soma e diferen¸ca no intervalo de 2 a 30. Para cada par de valores gerado, o programa chama o m´etodo
calcular_idades e armazena as respostas v´alidas em uma lista. A alternativa correta da quest˜ao,
apresentada na linha 36, considera os dados do enunciado e utiliza o m´etodo calcular_idades para
determinar as idades dos irm˜aos apresentados na Figura 9.1.
Figura 9.1: Recorte do PDF gerado para a quest˜ao das idades dos irm˜aos, referente ao C´odigo 9.1.
9.1.2 QM – equa¸c˜ao da reta
O C´odigo 9.2 implementa um algoritmo para gerar quatro equa¸c˜oes de reta aleat´orias a partir
de pontos com coordenadas inteiras entre 1 e 9. O m´etodo equacao_reta ´e utilizado para calcular
a equa¸c˜ao da reta que passa pelos dois pontos fornecidos. Para evitar duplicatas, o c´odigo verifica
se a equa¸c˜ao j´a est´a na lista de respostas antes de adicion´a-la. Caso uma reta vertical seja gerada,
Francisco de Assis Zampirolli MCTest 142
9.1. CRIANDO EXAMES E EXPORTANDO ARQUIVOS AIKEN E XML
Quest˜ao:
1 Uma pessoa tem x anos e seu irm~ao tem y anos. Se a diferen¸ca entre suas idades ´e
2 de [[code:diferenca]] anos, e a soma das idades ´e [[code:soma]], determine as
3 idades da pessoa e do irm~ao, respectivamente.
4
5 [[def:
6 import random
7
8 def calcular_idades(soma, diferenca):
9 """Calcula idades, dados soma e diferen¸ca.
10 x - y = diferenca e x + y = soma ==> 2x = (soma + diferenca)"""
11
12 # Calcular a idade da pessoa
13 x = (soma + diferenca) / 2
14
15 # Calcular a idade do irm~ao
16 y = soma - x
17
18 if not x%1 and x>0 and y>0: # somente inteiros positivos
19 return f"{x:2.0f} e {y:2.0f}"
20 else:
21 return ""
22
23 # Lista de respostas
24 respostas = []
25
26 # Gerar 4 equa¸c~oes de reta aleat´orias
27 while len(respostas) < 4:
28 # Gerar 2 valores aleat´orios
29 soma, diferenca = random.sample(range(2, 30), 2)
30 r = calcular_idades(soma, diferenca)
31 if not r: # somente inteiros positivos
32 continue
33 if r not in respostas: # respostas distintas
34 respostas.append(r)
35
36 # [[code:respostas[3]]] # ´ultima ser´a a correta
37 ]]
C´odigo 9.1: Exemplo de QM param´etrica para calcular as idades dos irm˜aos.
ela ´e ignorada. A ´ultima alternativa da quest˜ao na linha 26 considera os dois pontos fornecidos no
enunciado, apresentado na Figura 9.2.
9.1.3 QT com resposta exata – ordena parte do vetor
Na Se¸c˜ao 8.1 – Criando QMs e uma QT, foi apresentado o C´odigo 8.1, que descreve como
criar uma QT com resposta exata. Nesta se¸c˜ao, ser´a apresentado um exemplo pr´atico deste recurso,
por meio da adapta¸c˜ao dos C´odigos 5.12 e 5.12 de quest˜ao param´etrica integrada ao VPL.
Os C´odigos 9.3 e 9.4 implementam uma quest˜ao param´etrica exata, utilizando o m´etodo
Francisco de Assis Zampirolli MCTest 143
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Quest˜ao:
1 Qual ´e a equa¸c~ao da reta que passa pelos pontos ([[code:x1]], [[code:y1]]) e
2 ([[code:x2]], [[code:y2]])?
3
4 [[def:
5 import random
6
7 def equacao_reta(x1, y1, x2, y2):
8 """Calcula a equa¸c~ao da reta que passa pelos pontos (x1, y1) e (x2, y2)"""
9 m = (y2 - y1) / (x2 - x1)
10 b = y1 - m * x1
11 return f"y = {m:.2f}x + {b:.2f}"
12
13 # Lista de respostas
14 respostas = []
15
16 # Gerar 4 equa¸c~oes de reta aleat´orias e distintas
17 while len(respostas) < 4:
18 x1,y1,x2,y2 = random.sample(range(1,10), 4) # Gerar 2 pontos aleat´orios
19 if x1 == x2: # A reta ´e vertical: n~ao ´e poss´ıvel calcular a inclina¸c~ao m
20 continue
21
22 equacao = equacao_reta(x1, y1, x2, y2)
23 if equacao not in respostas:
24 respostas.append(equacao)
25
26 # [[code:respostas[3]]] # ´ultima ser´a a correta
27 ]]
C´odigo 9.2: Exemplo de QM param´etrica para calcular a equa¸c˜ao da reta.
Figura 9.2: Recorte do PDF gerado para a quest˜ao da equa¸c˜ao da reta definida no C´odigo 9.2.
ordena_parte_vetor. Esse m´etodo recebe como entrada um vetor de n´umeros inteiros, um ´ındice
de in´ıcio e um ´ındice de fim, e ordena apenas uma parte do vetor, delimitada pelos ´ındices de in´ıcio
e fim.
Francisco de Assis Zampirolli MCTest 144
9.1. CRIANDO EXAMES E EXPORTANDO ARQUIVOS AIKEN E XML
O m´etodo utiliza um algoritmo de ordena¸c˜ao por sele¸c˜ao simples, que percorre o trecho do
vetor a ser ordenado e, em cada itera¸c˜ao, seleciona o menor elemento da parte n˜ao ordenada e o
coloca em sua posi¸c˜ao correta na parte ordenada. Esse algoritmo ´e implementado por meio de dois
la¸cos aninhados: o primeiro percorre os elementos da parte do vetor a ser ordenada, enquanto o
segundo percorre os elementos ainda n˜ao ordenados. A cada itera¸c˜ao do segundo la¸co, ´e verificado
se o elemento atual ´e menor do que o elemento selecionado pelo primeiro la¸co. Se for o caso, os
elementos s˜ao trocados de posi¸c˜ao. O m´etodo retorna o vetor ordenado, e a ordena¸c˜ao ´e realizada
in-place, ou seja, o vetor original ´e modificado diretamente pelo m´etodo. A Figura 9.3 apresenta um
exemplo para esta quest˜ao.
A quest˜ao apresentada nos C´odigos 9.3 e 9.4 j´a est´a preparada para ser aplicada em atividades
VPL, seguindo os C´odigos 5.12 e 5.12. No entanto, a parte cr´ıtica ´e a formata¸c˜ao da quest˜ao, limitada
pelo Moodle, como ser˜ao apresentadas nas pr´oximas se¸c˜oes.
Esta quest˜ao de ordenar vetor ´e um exemplo t´ıpico que n˜ao pode ser implementado no
Moodle utilizando os valores curinga. Isso ilustra que para quest˜oes mais complexas, o MCTest ´e
uma ferramenta adequada para criar um banco de quest˜oes e export´a-lo para o Moodle.
Quest˜ao:
1 Dado um vetor de inteiros de tamanho \( n = [[code:n]]\), ordenar o trecho do
2 vetor que come¸ca no ´ındice \( inicio = [[code:inicio]] \) e termina no ´ındice
3 \( fim = [[code:fim]]\). Onde, \( 0<in´ıcio<fim<n \), ou seja, o trecho a ser
4 ordenado est´a entre in´ıcio (inclusive) e fim (inclusive). Vale ressaltar que
5 os ´ındices do vetor come¸cam em 0 e terminam em \( n-1\).
6
7 Considere esta entrada:}
8 [[code:caso0_inp]]
9
10 %%{[[code:caso0_out]]}%%
C´odigo 9.3: Exemplo de quest˜ao param´etrica exata – Parte 1: Descri¸c˜ao de quest˜ao.
Figura 9.3: Recorte do PDF gerado para a quest˜ao com resposta exata definida pelos C´odigos 9.3 e
9.4.
Francisco de Assis Zampirolli MCTest 145
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Quest˜ao:
1 [[def:
2 import json, numpy as np
3
4 # Passo 1: Criar os par^ametros do enunciado da quest~ao
5 n = np.random.randint(20,40)
6 inicio = np.random.randint(2,n//2-2)
7 fim = np.random.randint(n//2+2,n-2)
8
9 # Passo 2: Criar os casos de teste
10 inp_list, out_list = [], [] # Listas vazias para armazenar os casos de teste
11 casos_teste = 1 # N´umero de casos de teste desejado
12
13 def ordena_parte_vetor(vetor,inicio,fim):
14 """ Ordena¸c~ao da parte do vetor entre inicio e fim"""
15 for i in range(inicio, fim+1):
16 for j in range(i+1, fim+1):
17 if vetor[i] > vetor[j]:
18 vetor[i], vetor[j] = vetor[j], vetor[i]
19 # Retorno do vetor ordenado
20 return vetor
21
22 # Para cada caso de teste:
23 for i in range(casos_teste):
24
25 #>>>> begin - casos de teste
26 # Gerar valores aleat´orios entre 0 e 9 para a matriz
27 v = np.random.randint(10, size=n)
28
29 # Criar a entrada do caso de teste como uma string
30 inp = ' '.join(str(i) for i in v) + '\n'
31
32 # Calcular o vetor de sa´ıda
33 out = ' '.join(str(i) for i in ordena_parte_vetor(v,inicio,fim)) + '\n'
34 #<<<< end - casos de teste
35
36 # Adicionar a entrada e sa´ıda do caso de teste `as listas
37 inp_list.append(inp), out_list.append(out)
38
39 # Passo 3: Criar o dicion´ario com os casos de teste
40 cases = {}
41 cases['input'] = np.array(inp_list).tolist()
42 cases['output'] = np.array(out_list).tolist()
43
44 # Passo 4: Mostrar um exemplo no enunciado da quest~ao
45 caso0_inp, caso0_out = cases['input'][0], cases['output'][0]
46 ]]
C´odigo 9.4: Exemplo de quest˜ao param´etrica exata – Parte 2: Bloco de c´odigo.
Francisco de Assis Zampirolli MCTest 146
9.1. CRIANDO EXAMES E EXPORTANDO ARQUIVOS AIKEN E XML
9.1.4 Criando exame e exportando as varia¸c˜oes
Com as quest˜oes definidas anteriormente, ´e poss´ıvel agora criar um exame seguindo as ins-
tru¸c˜oes apresentadas no Cap´ıtulo 6 – Vis˜ao geral dos exames, e exportar as varia¸c˜oes necess´arias.
Ap´os a cria¸c˜ao do exame, ´e poss´ıvel selecionar as quatro quest˜oes apresentadas na Figura 9.4.
Os detalhes do exame s˜ao apresentados na Figura 9.5.
´
E importante notar que foi decidido criar
somente cinco varia¸c˜oes.
Figura 9.4: Recorte da tela do exame com as quatro quest˜oes marcadas.
Figura 9.5: Recorte da tela do exame com os detalhes da configura¸c˜ao.
Para prosseguir com a cria¸c˜ao das varia¸c˜oes, ´e necess´ario selecionar as op¸c˜oes “Aiken” e
“XML”, conforme ilustrado na Figura 9.6, e em seguida clicar em “Criar-Varia¸c˜oes”. O professor
receber´a um e-mail contendo dois anexos: um no formato Aiken (TXT) e outro no formato XML,
como mostrado na Figura 9.7. No caso deste exame com ID 480 rec´em-criado, os arquivos recebidos
ser˜ao:
Francisco de Assis Zampirolli MCTest 147
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Arquivos em formatos Aiken (TXT) e XML
report_Exam_480_variations_DB_aiken.txt
report_Exam_480_variations_DB.xml
Figura 9.6: Recorte da tela do exame com os detalhes da configura¸c˜ao.
Figura 9.7: Recorte do e-mail recebido ap´os clicar em “Criar-Varia¸c˜oes”.
Detalhando o arquivo no formato Aiken
A seguir, s˜ao apresentadas as trˆes QMs da primeira varia¸c˜ao. Vale ressaltar que, na Figura
9.5, foram solicitadas cinco varia¸c˜oes no formato Aiken, geradas pelo MCTest. No entanto, antes de
import´a-las no Moodle, ´e necess´ario remover os coment´arios adicionados pelo MCTest apenas para
controle. Em vers˜oes de produ¸c˜ao do MCTest, esses coment´arios podem ser facilmente removidos.
Al´em disso, um aspecto desagrad´avel deste formato ´e que n˜ao ´e poss´ıvel importar quest˜oes com
apenas resposta exata.
Francisco de Assis Zampirolli MCTest 148
9.1. CRIANDO EXAMES E EXPORTANDO ARQUIVOS AIKEN E XML
Conte´udo do arquivo * aiken.txt, varia¸c˜ao 0 e quest˜ao 1.
############# variation ########## 0
#c:1 #id:2465 #topic:Topico Exemplo #type:QM #diff:1
Uma pessoa tem x anos e seu irm~ao tem y anos. Se a diferen¸ca entre suas idades ´e de
2 anos, e a soma das idades ´e 28, determine as idades da pessoa e do irm~ao,
respectivamente.
A) 15 e 13
B) 20 e 1
C) 11 e 2
D) 18 e 1
ANSWER: A
...
Conte´udo do arquivo * aiken.txt, varia¸c˜ao 0 e quest˜ao 2.
...
#c:2 #id:2449 #topic:Topico Exemplo #type:QM #diff:1
Qual ´e a ´area do c´ırculo de raio \( 25 \)?
% coment´ario em LaTex. Observe que a vari´avel raio1, ap´os "code:"
% foi definida na linha 18 abaixo
A) 2827.43
B) 3019.07
C) 1809.56
D) 1963.50
ANSWER: D
...
Conte´udo do arquivo * aiken.txt, varia¸c˜ao 0 e quest˜ao 3.
...
#c:3 #id:2464 #topic:Topico Exemplo #type:QM #diff:1
Qual ´e a equa¸c~ao da reta que passa pelos pontos (2, 7) e (8, 6)?
A) y = 1.00x + -2.00
B) y = -0.17x + 7.33
C) y = 2.00x + 1.00
D) y = 1.00x + 4.00
ANSWER: B
...
Francisco de Assis Zampirolli MCTest 149
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Detalhando o arquivo no formato XML para QM
A seguir ´e detalhado o arquivo no formato XML que cont´em a primeira QM da primeira
varia¸c˜ao. Diferentemente do formato Aiken, os coment´arios iniciados com o s´ımbolo “#” neste
formato XML n˜ao precisam ser removidos. No entanto, antes de import´a-las no Moodle, ´e necess´ario
remover os coment´arios em L
A
T
E
X dentro de cada quest˜ao e gerar novamente o arquivo. Realizar esse
processo diretamente no arquivo XML pode ser mais complexo e propenso a erros, especialmente se
for necess´ario gerar muitas varia¸c˜oes. Por isso, ´e recomendado gerar uma ´unica varia¸c˜ao e verificar
como ela ´e formatada no Moodle antes de prosseguir com a gera¸c˜ao de outras varia¸c˜oes.
Cabe salientar que a sintaxe no formato XML ´e complexa e n˜ao ´e destinada ao consumo
humano. Por isso, foi apresentada somente a primeira QM gerada a seguir.
Foi criada, no c´odigo abaixo, uma hierarquia de categorias para as quest˜oes com base nas suas
caracter´ısticas, tais como tipo, t´opico e n´ıvel de dificuldade. Essa organiza¸c˜ao visa tornar o banco
de quest˜oes mais estruturado no Moodle. Al´em disso, foi criada uma categoria para cada quest˜ao
do MCTest, facilitando a localiza¸c˜ao das quest˜oes no Moodle. No exemplo a seguir, ´e apresentada a
categoria multichoice/Topico Exemplo/diff1/´area c´ırculo - ex.1.
Conte´udo do arquivo *.xml, varia¸c˜ao 0 e quest˜ao 1 – categoria.
<?xml version="1.0" encoding="UTF-8"?>
<quiz>
<!-- category: #id:2449 #type:multichoice #topic:Topico Exemplo #diff:1 #descr:´area c´ırculo - ex.1 -->
<question type="category">
<category>
<text>
$course$/top/multichoice/Topico Exemplo/diff1/´area c´ırculo - ex.1
</text>
</category>
<info format="moodle_auto_format">
<text></text>
</info>
<idnumber></idnumber>
</question>
...
Francisco de Assis Zampirolli MCTest 150
9.1. CRIANDO EXAMES E EXPORTANDO ARQUIVOS AIKEN E XML
Conte´udo do arquivo *.xml, varia¸c˜ao 0 e quest˜ao 1.
...
<!-- question:#c:2#id:2449#type:multichoice#topic:Topico Exemplo#diff:1#descr:´area c´ırculo - ex.1#var:1-->
<question type="multichoice">
<name>
<text>Topico: Topico Exemplo Dificuldade: 1 </text>
</name>
<questiontext format="moodle_auto_format">
<text><![CDATA[<p> Qual ´e a ´area do c´ırculo de raio \( 25 \)?
% coment´ario em LaTex. Observe que a vari´avel raio1, ap´os "code:"
% foi definida na linha 18 abaixo
<br></p>]]>
</text>
</questiontext>
<generalfeedback format="moodle_auto_format">
<text></text>
</generalfeedback>
<defaultgrade>1.0000000</defaultgrade>
<penalty>0.3333333</penalty>
<hidden>0</hidden>
<idnumber></idnumber>
<single>true</single>
<shuffleanswers>true</shuffleanswers>
<answernumbering>abc</answernumbering>
<correctfeedback format="moodle_auto_format">
<text>Sua resposta est´a correta.</text>
</correctfeedback>
<partiallycorrectfeedback format="moodle_auto_format">
<text>Sua resposta est´a parcialmente correta.</text>
</partiallycorrectfeedback>
<incorrectfeedback format="moodle_auto_format">
<text>Sua resposta est´a incorreta.</text>
</incorrectfeedback>
<shownumcorrect/>
...
Francisco de Assis Zampirolli MCTest 151
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Conte´udo do arquivo *.xml, varia¸c˜ao 0 e quest˜ao 1 – alternativas.
...
<answer fraction="0" format="moodle_auto_format">
<text><![CDATA[<p> 2827.43
<br></p>]]></text>
<feedback format="moodle_auto_format">
<text></text>
</feedback>
</answer>
<answer fraction="0" format="moodle_auto_format">
<text><![CDATA[<p> 3019.07
<br></p>]]></text>
<feedback format="moodle_auto_format">
<text></text>
</feedback>
</answer>
<answer fraction="0" format="moodle_auto_format">
<text><![CDATA[<p> 1809.56
<br></p>]]></text>
<feedback format="moodle_auto_format">
<text></text>
</feedback>
</answer>
<answer fraction="100" format="moodle_auto_format">
<text><![CDATA[<p> 1963.50
<br></p>]]></text>
<feedback format="moodle_auto_format">
<text></text>
</feedback>
</answer>
</question>
...
Detalhando o arquivo no formato XML – quest˜ao com resposta exata
A seguir, ser˜ao apresentados os detalhes do arquivo XML referente `a quest˜ao com resposta
exata. A hierarquia desta quest˜ao foi top/shortanswer/Topico Exemplo/diff1/resposta exata.
Francisco de Assis Zampirolli MCTest 152
9.1. CRIANDO EXAMES E EXPORTANDO ARQUIVOS AIKEN E XML
´
E relevante ressaltar que essa quest˜ao foi agrupada na categoria shortanswer, diferentemente das
QMs, que utilizam a categoria multichoice.
´
E importante lembrar que ´e necess´ario criar as quest˜oes
no formato adequado no MCTest para poderem ser importadas e exibidas corretamente no Moodle,
que possui sua pr´opria formata¸c˜ao.
Conte´udo do arquivo *.xml, varia¸c˜ao 0 e quest˜ao com resposta exata – categoria.
...
<!-- category:#id:2466#type:shortanswer#topic:Topico Exemplo#diff:1#descr:resposta exata - vetor-->
<question type="category">
<category>
<text>
$course$/top/shortanswer/Topico Exemplo/diff1/resposta exata - vetor
</text>
</category>
<info format="moodle_auto_format">
<text></text>
</info>
<idnumber></idnumber>
</question>
...
Conte´udo do arquivo *.xml, varia¸c˜ao 0 e quest˜ao com resposta exata – quest˜ao.
...
<!--question:#c:4#id:2466#type:shortanswer#topic:Topico Exemplo#diff:1#descr:resposta exata - vetor#var:1-->
<question type="shortanswer">
<name>
<text>Topico: Topico Exemplo Dificuldade: 1 </text>
</name>
<questiontext format="moodle_auto_format">
<text>
<![CDATA[<p> Dado um vetor de inteiros de tamanho \( n = 31\), ordenar o tre$$ $$cho do
vetor que come¸ca no ´ındice \( inicio = 10 \) e termina no ´ındice
\( fim = 24\). Onde, \( 0<in´ıcio<fim<n \)n, ou seja, o tre$$ $$cho a ser
ordenado est´a nos limites do vetor. Vale ressaltar que os ´ındices do
vetor come¸cam em 0 e terminam em \( n-1\).
Considere esta entrada:
8 1 4 1 2 0 1 6 1 9 6 3 7 2 7 8 9 3 7 2 0 7 6 4 3 0 1 1 9 4 1
<br></p>]]>
</text>
</questiontext>
...
Francisco de Assis Zampirolli MCTest 153
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Conte´udo do arquivo *.xml, varia¸c˜ao 0 e quest˜ao com resposta exata – resposta.
...
<generalfeedback format="moodle_auto_format">
<text></text>
</generalfeedback>
<defaultgrade>1.0000000</defaultgrade>
<penalty>0.3333333</penalty>
<hidden>0</hidden>
<idnumber></idnumber>
<single>true</single>
<shuffleanswers>true</shuffleanswers>
<answernumbering>abc</answernumbering>
<correctfeedback format="moodle_auto_format">
<text>Sua resposta est´a correta.</text>
</correctfeedback>
<partiallycorrectfeedback format="moodle_auto_format">
<text>Sua resposta est´a parcialmente correta.</text>
</partiallycorrectfeedback>
<incorrectfeedback format="moodle_auto_format">
<text>Sua resposta est´a incorreta.</text>
</incorrectfeedback>
<shownumcorrect/>
<answer fraction="100" format="moodle_auto_format">
<text>
8 1 4 1 2 0 1 6 1 9 0 2 2 3 3 3 4 6 6 7 7 7 7 8 9 0 1 1 9 4 1
</text>
</answer>
</question>
...
Francisco de Assis Zampirolli MCTest 154
9.2. IMPORTANDO ARQUIVO XML NO MOODLE
9.2 Importando arquivo XML no Moodle
Como o formato Aiken apresenta algumas limita¸c˜oes, como a impossibilidade de criar quest˜oes
com resposta exata, ser´a apresentado a seguir um tutorial para importar e criar question´arios no
Moodle usando o formato XML.
Inicialmente, ´e necess´ario criar um question´ario no Moodle e acessar a op¸c˜ao “Banco de Da-
dos”, presente no menu de configura¸c˜oes, representado por uma engrenagem. Em seguida, basta
escolher a op¸c˜ao “Importa¸c˜ao”, selecionar o formato XML e mover o arquivo correspondente para a
´area especificada. Ao clicar em “Importar”, as 20 quest˜oes ser˜ao carregadas e poder˜ao ser visuali-
zadas, como ilustrado na Figura 9.8 para uma QM e na Figura 9.9 para uma quest˜ao com resposta
exata. Na Figura 9.5 foram 3 QMs, 1 QT e 5 varia¸c˜oes ((3 + 1) ∗ 5 = 20).
Vale ressaltar que o uso de formata¸c˜ao em L
A
T
E
X no Moodle apresenta muitas limita¸c˜oes em
compara¸c˜ao com o PDF gerado pelo MCTest, como ilustrado na Figura 9.9.
Figura 9.8: Exemplo de QM no Moodle.
Em termos de compara¸c˜ao, observe na Figura 9.10 como seria um exame em PDF gerado
pelo MCTest com essas varia¸c˜oes das 3 QMs, seguido por uma QT com resposta exata. O professor
tamb´em pode corrigir esse estilo de exame digitalizando-o para corrigir as QMs. Quanto `a QT, o
professor pode corrigi-la manualmente, comparando a resposta exata do estudante com o gabarito
gerado pelo MCTest ao escolher a op¸c˜ao “Template” antes de clicar em “Criar-Varia¸c˜oes”. O artigo
de Zampirolli, Batista, Iriarte e Junior (2020) detalha esse processo de corre¸c˜ao autom´atica utilizando
a op¸c˜ao “Template”, tamb´em resumido na Se¸c˜ao 12.2.2 – Artigo descrevendo o MCTest em conjunto
com Google Forms e Google Sheets.
Francisco de Assis Zampirolli MCTest 155
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Figura 9.9: Exemplo da quest˜ao exata do Moodle.
Figura 9.10: Exemplo exame gerado pelo MCTest.
Francisco de Assis Zampirolli MCTest 156
9.3. CONSIDERAC¸
˜
OES FINAIS
9.3 Considera¸c˜oes finais
Neste cap´ıtulo apresentou-se a utiliza¸c˜ao do recurso do MCTest que permite exportar va-
ria¸c˜oes de um exame nos formatos Aiken e XML para o Moodle, a fim de criar um banco de quest˜oes.
Utilizou-se uma quest˜ao apresentada no Cap´ıtulo 8 - Exames com QR+QM e/ou QT, al´em de criar
novas quest˜oes para exemplificar o processo.
Verificou-se que o uso do MCTest para criar o banco de quest˜oes ´e vantajoso em compara¸c˜ao
`a cria¸c˜ao de quest˜oes parametrizadas diretamente no Moodle, uma vez que o MCTest suporta uma
variedade maior de parametriza¸c˜oes de quest˜oes. Ap´os configurar o exame para gerar varia¸c˜oes, ´e
poss´ıvel export´a-las nos formatos Aiken ou XML e import´a-las para o banco de quest˜oes do Moodle,
criando uma atividade com as quest˜oes importadas. Dessa forma, ´e poss´ıvel criar atividades muito
mais parametrizadas do que aquelas suportadas apenas pelos valores curinga no Moodle.
Na se¸c˜ao de cria¸c˜ao do exame e exporta¸c˜ao das varia¸c˜oes, foram demonstrados exemplos de
como criar um exame com trˆes QMs param´etricas e uma QT com resposta exata, explicando como
o MCTest pode ser utilizado para gerar varia¸c˜oes.
Foi detalhado o conte´udo dos arquivos nos formatos Aiken e XML para as QMs e QTs com
respostas exatas, destacando a necessidade de remover os coment´arios adicionados pelo MCTest
nos arquivos Aiken antes de import´a-los para o Moodle. Quanto aos arquivos XML, ressaltou-se
a complexidade da sintaxe e a importˆancia de remover os coment´arios em L
A
T
E
X dentro de cada
quest˜ao no MCTest. Tamb´em foi necess´ario prestar aten¸c˜ao especial `a formata¸c˜ao utilizada, como a
matem´atica, j´a que pode ser inv´alida no Moodle.
Por fim, apresentou-se um tutorial para importar e criar question´arios no Moodle utilizando
o formato XML, mostrando como acessar a op¸c˜ao de importa¸c˜ao, escolher o formato XML e carregar
o arquivo correspondente. Demonstrou-se que as quest˜oes s˜ao carregadas no Moodle, mesmo que
haja algumas limita¸c˜oes na formata¸c˜ao em L
A
T
E
X.
Concluiu-se que o uso do MCTest em conjunto com o Moodle ´e uma abordagem eficaz para
criar exames com uma variedade maior de quest˜oes parametrizadas, superando as limita¸c˜oes do
Moodle na cria¸c˜ao dessas quest˜oes. A exporta¸c˜ao das varia¸c˜oes nos formatos Aiken e XML permite
uma integra¸c˜ao mais fluida e flex´ıvel entre as duas plataformas, possibilitando a cria¸c˜ao de atividades
mais personalizadas e de qualidade no Moodle.
No pr´oximo cap´ıtulo, ser˜ao abordados a cria¸c˜ao de exames contendo quest˜oes com corre¸c˜ao
autom´atica em atividades VPL do Moodle, apresentando exemplos e detalhando todo o processo de
corre¸c˜ao autom´atica desses exames.
Francisco de Assis Zampirolli MCTest 157
CAP
´
ITULO 9. VARIAC¸
˜
OES DE EXAMES COM QM+QT PARA O MOODLE
Francisco de Assis Zampirolli MCTest 158
Cap´ıtulo 10
Exames com MCTest+Moodle+VPL
Conte´udo
10.1 Criando um exame com QT integrado ao VPL . . . . . . . . . . . . . . . . . . 150
10.1.1 Criando uma nova quest˜ao integrada ao VPL . . . . . . . . . . . . . . . 150
10.1.2 Criando as varia¸c˜oes e imprimindo o PDF do exame . . . . . . . . . . . 152
10.1.3 Criando e configurando a atividade VPL para o exame . . . . . . . . . . 153
10.1.4 Solu¸c˜oes da atividade VPL para o exame . . . . . . . . . . . . . . . . . 156
10.2 Detalhando o arquivo linker.json . . . . . . . . . . . . . . . . . . . . . . . . . 157
10.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Neste cap´ıtulo, ser˜ao descritos exames que contˆem quest˜oes dissertativas (QTs) param´etricas,
nas quais os estudantes devem submeter exerc´ıcios de programa¸c˜ao (EPs) em atividades VPL do
Moodle. Esses tipos de quest˜oes foram detalhados na Se¸c˜ao 5.3 – QT param´etrica, com c´odigo. A
quest˜ao de parcelas sem juros criada nesta se¸c˜ao ser´a utilizada em um novo exame, no qual ser´a
detalhado todo o processo neste cap´ıtulo.
Esse tipo de exame tem sido amplamente utilizado na UFABC em disciplinas que envolvem
programa¸c˜ao, como Bases Computacionais da Ciˆencia (equivalente `a CS0 – Computer Science 0),
para estudantes ingressantes. Nessa disciplina, a linguagem de programa¸c˜ao Python ´e empregada
juntamente com a biblioteca pandas, permitindo que os estudantes pratiquem estat´ısticas em arqui-
vos no formato CSV.
Outra disciplina que faz uso frequente dessa integra¸c˜ao com o plugin VPL ´e a de Proces-
samento da Informa¸c˜ao (PI), equivalente `a CS1 (Computer Science 1). CS1 representa a primeira
disciplina introdut´oria em Ciˆencia da Computa¸c˜ao, geralmente oferecido no primeiro ano de gra-
dua¸c˜ao em cursos dessa ´area. A defini¸c˜ao CS1 foi estabelecida pela ACM (Association for Compu-
ting Machinery), uma das principais associa¸c˜oes profissionais de Ciˆencia da Computa¸c˜ao do mundo
(HOGAN, 2023).
159
CAP
´
ITULO 10. EXAMES COM MCTEST+MOODLE+VPL
Ao longo dos anos, diversos professores da UFABC tˆem contribu´ıdo para o desenvolvimento
de quest˜oes, resultando em um total de 2.273 quest˜oes cadastradas at´e agosto de 2023. Dessas
quest˜oes, 643 s˜ao do tipo param´etricas, como indicado em mctest.ufabc.edu.br.
´
E importante destacar que, embora essa metodologia de avalia¸c˜ao seja adotada em diversas
turmas, muitos professores ainda n˜ao utilizam essa abordagem ou outras similares. Isso pode indicar
uma falta de padroniza¸c˜ao dos conte´udos apresentados aos estudantes, o que pode prejudicar o
processo de ensino-aprendizagem (ZAMPIROLLI, 2018).
Todo o processo de cria¸c˜ao de exames descrito nos cap´ıtulos anteriores pode ser aplicado a
exames que utilizam a integra¸c˜ao do VPL do Moodle, com algumas adapta¸c˜oes. Este cap´ıtulo apre-
sentar´a especificamente essa integra¸c˜ao, que contou com a ajuda do Prof. Dr. Paulo Henrique Pisani
e de seu orientando Heitor Rodrigues Savegnago na adapta¸c˜ao dos arquivos de configura¸c˜ao do VPL.
Essa colabora¸c˜ao resultou em diversas publica¸c˜oes a partir de 2019, resumidas em vision.ufabc.edu.br.
Neste cap´ıtulo, n˜ao ser˜ao detalhadas as modifica¸c˜oes realizadas nesses arquivos de configura¸c˜ao, mas
apenas ser´a destacado como incluir os arquivos gerados pelo MCTest, necess´arios para a corre¸c˜ao
autom´atica no plugin VPL.
10.1 Criando um exame com QT integrado ao VPL
Como j´a foi introduzido na Se¸c˜ao 5.3 – QT param´etrica, com c´odigo, o VPL ´e um plugin do
Moodle para corre¸c˜ao de atividades em que os estudantes devem submeter seus EPs para corre¸c˜ao
autom´atica. Basicamente, s˜ao dois arquivos criados pelo MCTest que devem ser inseridos na ati-
vidade VPL do Moodle. O primeiro ´e o arquivo linker.json, que cont´em todas as varia¸c˜oes do
exame, juntamente com os detalhes de cada quest˜ao, incluindo os casos de teste. Esse arquivo ´e
enviado para o e-mail do professor ao clicar no bot˜ao “Criar-Varia¸c˜oes” no formul´ario de exame.
Assim, toda vez que o professor clicar nesse bot˜ao, ser´a gerado um novo conjunto de varia¸c˜oes que
dever´a ser atualizado na atividade VPL. O segundo arquivo ´e o students_variations.csv, que
cont´em a varia¸c˜ao do exame sorteada para cada estudante. Esse arquivo ´e enviado para o e-mail do
professor ao clicar no bot˜ao “Criar-PDF”, tamb´em no formul´ario do exame.
Nesta se¸c˜ao, um exame ser´a elaborado utilizando a quest˜ao sobre parcelas sem juros, conforme
demonstrado nos C´odigos 5.12 e 5.13. Uma vers˜ao alterada dessa quest˜ao tamb´em foi ilustrada na
Figura 5.5. Posteriormente, uma quest˜ao simples ser´a acrescentada, com integra¸c˜ao ao VPL, para
ser inclu´ıda neste novo exame.
10.1.1 Criando uma nova quest˜ao integrada ao VPL
Considere a seguinte quest˜ao sobre matrizes para a disciplina CS1, apresentada nos C´odigos
10.1 e 10.2. Nesta quest˜ao, o usu´ario deve ler os elementos de uma matriz de dimens˜oes param´etricas,
calcular a soma dos elementos e exibir o resultado, como apresentado na Figura 10.1.
O C´odigo 10.2 utiliza as bibliotecas json e numpy para criar valores param´etricos e casos
de teste de uma quest˜ao envolvendo matrizes. No passo 1, s˜ao definidos os parˆametros Linhas e
Colunas, que representam o tamanho da matriz e ser˜ao inclu´ıdos no enunciado da quest˜ao. No passo
Francisco de Assis Zampirolli MCTest 160
10.1. CRIANDO UM EXAME COM QT INTEGRADO AO VPL
Quest˜ao:
1 Considere uma matriz de inteiros de dimens~oes \([[code:Linhas]] \times
2 [[code:Colunas]]\). Escreva um programa capaz de calcular a soma de todos
3 os elementos dessa matriz. O programa deve solicitar ao usu´ario os n´umeros
4 inteiros da matriz, linha por linha. Ao final, o programa deve exibir a
5 soma de todos os elementos da matriz. Veja exemplo a seguir: \\
6
7 \noindent\textbf{Exemplo de Entrada:}
8 \begin{verbatim}
9 [[code:caso0_inp]]
10 \end{verbatim}
11
12 \noindent\textbf{Exemplo de Sa´ıda:}
13 \begin{verbatim}
14 [[code:caso0_out]]
15 \end{verbatim}
16
17 % necess´ario para gerar casos de testes no moodle
18 \begin{comment}
19 [[code:moodle_cases]]
20 \end{comment}
C´odigo 10.1: Exemplo de quest˜ao com matriz utilizando MCTest+Moodle+VPL – Parte 1: Descri¸c˜ao
de quest˜ao.
2, s˜ao criados casos de teste com valores aleat´orios na matriz e, em seguida, ´e gerada a entrada e
sa´ıda para cada caso. O m´etodo matriz2texto converte a matriz em formato de texto. Os casos
de teste s˜ao armazenados em listas de entrada (inp_list) e sa´ıda (out_list). No passo 3, ´e criado
um dicion´ario com os casos de teste e, em seguida, ´e convertido em formato JSON. Finalmente, no
passo 4, ´e mostrado um exemplo no enunciado da quest˜ao, exibindo a entrada e sa´ıda do primeiro
caso de teste. O c´odigo pode ser utilizado para gerar casos de teste para uma quest˜ao relacionada a
matrizes e c´alculos.
Um m´etodo mais gen´erico para matriz2texto ´e apresentado no C´odigo 10.3 para formatar
uma matriz com elementos de v´arios d´ıgitos. O m´etodo recebe uma matriz f representada como uma
matriz numpy ndarray. O m´etodo tem o prop´osito de converter essa matriz em uma representa¸c˜ao
de texto adequada para impress˜ao. Primeiro, o m´etodo obt´em o n´umero de linhas (l) e colunas (c) da
matriz f usando f.shape. Em seguida, ´e feita uma verifica¸c˜ao para determinar o formato adequado
para a representa¸c˜ao dos elementos da matriz na string de texto. Se o valor m´ınimo da matriz for
menor que zero, a vari´avel num_digitos ´e criada usando a formata¸c˜ao %Xd, onde X ´e a quantidade de
d´ıgitos necess´arios para representar o valor m´aximo da matriz em texto. Caso contr´ario, a vari´avel
num_digitos ´e criada usando %Yd, onde Y ´e a quantidade de d´ıgitos necess´arios para representar o
valor m´aximo da matriz em texto com valores negativos. Posteriormente, o m´etodo itera sobre cada
elemento da matriz e formata cada valor usando a vari´avel num_digitos, concatenando-os na string
de texto. A cada linha, ´e adicionado um caractere de quebra de linha '\n' para iniciar uma nova
linha na representa¸c˜ao final. O m´etodo retorna a string de texto contendo a representa¸c˜ao da matriz.
Francisco de Assis Zampirolli MCTest 161
CAP
´
ITULO 10. EXAMES COM MCTEST+MOODLE+VPL
Quest˜ao:
1 [[def:
2 import json, numpy as np
3
4 # Passo 1: Criar os par^ametros do enunciado da quest~ao
5 Linhas, Colunas = np.random.randint(4, 8, size=2)
6
7 # Passo 2: Criar os casos de teste
8 inp_list, out_list = [], [] # Listas vazias para armazenar os casos de teste
9 casos_teste = 2 # N´umero de casos de teste desejado
10 # Aumentar esse n´umero ap´os validar a quest~ao tamb´em na atividade VPL do Moodle
11
12 def matriz2texto(M):
13 """Converte uma matriz em formato de texto."""
14 texto = ''
15 for linha in M:
16 texto += ' '.join(f"{elemento:1d}" for elemento in linha) + '\n'
17 return texto
18
19 # Para cada caso de teste:
20 for i in range(casos_teste):
21
22 #>>>> begin - casos de teste
23 # Gerar valores aleat´orios entre 0 e 9 para a matriz
24 M = np.random.randint(10, size=(Linhas, Colunas))
25
26 # Criar a entrada do caso de teste como uma string
27 inp = matriz2texto(M) +'\n'
28
29 # Calcular o valor da parcela arredondado para duas casas decimais
30 out = f'soma = {np.sum(M)}'
31 #<<<< end - casos de teste
32
33 # Adicionar a entrada e sa´ıda do caso de teste `as listas
34 inp_list.append(inp), out_list.append(out)
35
36 # Passo 3: Criar o dicion´ario com os casos de teste
37 cases = {}
38 cases['input'] = np.array(inp_list).tolist()
39 cases['output'] = np.array(out_list).tolist()
40 moodle_cases = json.dumps(cases)
41
42 # Passo 4: Mostrar um exemplo no enunciado da quest~ao
43 caso0_inp, caso0_out = cases['input'][0], cases['output'][0]
44 #print(moodle_cases) # para testar em uma IDE
45 ]]
C´odigo 10.2: Exemplo de quest˜ao com matriz utilizando MCTest+Moodle+VPL – Parte 2: Bloco
de c´odigo em Python.
Esse m´etodo ´e ´util para visualizar o conte´udo da matriz f de forma leg´ıvel em uma sa´ıda de texto,
permitindo uma inspe¸c˜ao mais clara dos valores contidos na matriz.
Francisco de Assis Zampirolli MCTest 162
10.1. CRIANDO UM EXAME COM QT INTEGRADO AO VPL
Quest˜ao:
1 def matriz2texto2(f):
2 l, c = f.shape
3 if np.min(f) < 0:
4 num_digitos = '%' + str(1 + len(str(np.max(f)))) + 'd '
5 else:
6 num_digitos = '%' + str(len(str(np.max(f)))) + 'd '
7 #print('"'+num_digitos+'"')
8 texto = ''
9 for i in range(l):
10 for j in range(c):
11 texto += num_digitos % f[i][j]
12 texto += '\n'
13 return texto
C´odigo 10.3: M´etodo mais gen´erico que matriz2texto para formatar uma matriz.
Essa quest˜ao apresentada nos C´odigos 10.1 e 10.2 ´e parametrizada apenas nas dimens˜oes da
matriz, que variam entre 4 e 7, conforme indicado na linha 5 do C´odigo 10.2. Para torn´a-la ainda
mais parametriz´avel, seria poss´ıvel variar o enunciado para calcular a soma, m´aximo, m´ınimo ou
m´edia dos elementos, considerando os ´ındices ou valores pares, ou ´ımpares. Com essas varia¸c˜oes,
seria poss´ıvel criar um total de 16 varia¸c˜oes, sem considerar as varia¸c˜oes nas dimens˜oes da matriz,
que poderiam ser aumentadas para criar ainda mais varia¸c˜oes.
Dessa forma, seria poss´ıvel criar uma ampla variedade de quest˜oes utilizando a mesma estru-
tura b´asica de c´odigo, tornando o processo de cria¸c˜ao e corre¸c˜ao de quest˜oes mais eficiente e flex´ıvel.
´
E importante lembrar que, ao criar quest˜oes parametrizadas, ´e fundamental garantir que todas as
varia¸c˜oes poss´ıveis sejam coerentes e bem formuladas, al´em de estarem no mesmo n´ıvel de dificuldade
na resolu¸c˜ao, a fim de garantir a qualidade do exame.
Figura 10.1: Recorte do PDF gerado para a quest˜ao de matriz definida nos C´odigos 10.1 e 10.2.
Francisco de Assis Zampirolli MCTest 163
CAP
´
ITULO 10. EXAMES COM MCTEST+MOODLE+VPL
10.1.2 Criando as varia¸c˜oes e imprimindo o PDF do exame
Para criar um novo exame, siga os passos descritos no Cap´ıtulo 6 – Vis˜ao geral dos exames.
Ap´os definir o nome do exame, escolha a turma e as quest˜oes, preencha o restante do formul´ario
conforme apresentado na Figura 10.2, realizando as devidas altera¸c˜oes nos campos “Dificuldade 1”,
“Dissertativa” e “Respostas/Quest˜oes/Ambos”. Finalize clicando no bot˜ao “Salvar”.
Agora, para criar as varia¸c˜oes, ´e importante selecionar a op¸c˜ao “Json” antes de clicar no
bot˜ao “Criar-Varia¸c˜oes”.
Figura 10.2: Recorte da tela de exame, configurando os detalhes do exame com integra¸c˜ao VPL.
Ao fazer isso, um arquivo no formato JSON com o nome *_linker.json ser´a gerado e enviado
para o e-mail do professor. Esse arquivo deve ser renomeado para linker.json. Veja na Figura 10.3
o e-mail recebido, com remetente webmctest@ufabc.edu.br. O arquivo JSON cont´em informa¸c˜oes
detalhadas sobre as varia¸c˜oes do exame, incluindo as quest˜oes, as entradas utilizadas e as respostas
esperadas.
Ap´os criar as varia¸c˜oes, ´e poss´ıvel gerar um PDF por turma contendo os exames dos es-
tudantes. No entanto, antes de fazer isso, uma boa estrat´egia seria validar a atividade VPL no
Moodle. Para isso, crie uma turma de teste incluindo somente o professor como estudante. Es-
colha essa turma no exame e, em seguida, clique no bot˜ao “Criar-PDF”. Um PDF com o exame
ser´a enviado ao professor, conforme mostrado na Figura 10.4. No mesmo e-mail, ser´a anexado o
arquivo *_students_variations.csv, que deve ser renomeado para students_variations.csv.
Este arquivo cont´em as varia¸c˜oes de cada estudante.
Francisco de Assis Zampirolli MCTest 164
10.1. CRIANDO UM EXAME COM QT INTEGRADO AO VPL
Figura 10.3: Recorte do e-mail recebido ap´os clicar em “Criar-Varia¸c˜oes”.
10.1.3 Criando e configurando a atividade VPL para o exame
Adaptando as instru¸c˜oes definidas na Se¸c˜ao 5.3 – QT param´etrica, com c´odigo para criar
uma atividade VPL no Moodle:
1. Acesse o Moodle e v´a para a disciplina em que deseja adicionar um exame;
2. Clique em “Adicionar uma atividade ou recurso” e selecione “Laborat´orio Virtual de Pro-
grama¸c˜ao” para criar uma nova atividade VPL;
3. Preencha os detalhes da atividade, como nome, descri¸c˜ao e pontua¸c˜ao. Em “N´umero m´aximo
de arquivos”, defina 2, pois o exame criado neste cap´ıtulo possui duas quest˜oes. Finalize
salvando e mostrando a atividade. Em seguida, clique no ´ıcone de engrenagem para acessar as
configura¸c˜oes avan¸cadas da atividade e siga os pr´oximos passos;
4. Na se¸c˜ao “Op¸c˜oes de execu¸c˜ao”, selecione a linguagem “Python” como “Script de execu¸c˜ao”,
deixando apenas “Avaliar” e “Atribui¸c˜ao autom´atica de nota” como “Sim”, por exemplo;
5. Na se¸c˜ao “Arquivo de execu¸c˜ao”, inclua os arquivos dispon´ıveis na ´ultima vers˜ao dispon´ıvel
em github.com/fzampirolli/mctest/tree/master/VPL modification/V10-new selector. Os ar-
quivos para download s˜ao: makefile, vpl_evaluate.sh e zip.tar.gz.b64. Inclua tamb´em
os arquivos linker.json e students_variations.csv;
Francisco de Assis Zampirolli MCTest 165
CAP
´
ITULO 10. EXAMES COM MCTEST+MOODLE+VPL
Figura 10.4: Recorte da tela do PDF do exame com integra¸c˜ao VPL.
Francisco de Assis Zampirolli MCTest 166
10.1. CRIANDO UM EXAME COM QT INTEGRADO AO VPL
6. Para que o Moodle escolha a varia¸c˜ao correta do exame, ´e necess´ario que o nome e sobrenome
sejam exatamente iguais no Moodle e tamb´em no arquivo students_variations.csv. Por-
tanto, ´e necess´ario alterar o nome do estudante de Estudante Exemplo Sobrenome, conforme
mostrado na Figura 10.4, para Francisco Exemplo Zampirolli;
7. Em “Arquivos a serem mantidos durante a execu¸c˜ao”, marque todas as op¸c˜oes e clique em
Salvar;
8. Para realizar a atividade do exame, clique na op¸c˜ao “Atividade de teste” e em seguida em
“Editar”. Ser´a aberta uma janela solicitando o nome do arquivo, que deve ser exatamente
Q1.py. Caso utilize o nome q1.py, a atividade n˜ao funcionar´a corretamente. Caso deseje criar
um segundo arquivo, clique no ´ıcone “+” e o ´ıcone para criar um novo arquivo, em seguida
utilize exatamente o nome do arquivo Q2.py.
10.1.4 Solu¸c˜oes da atividade VPL para o exame
Ap´os criar os arquivos Q1.py e Q2.py, inclua solu¸c˜oes para resolver essas quest˜oes. Por
exemplo, confira no C´odigo 10.4 uma solu¸c˜ao para a primeira quest˜ao de matriz. A parte cr´ıtica
desta quest˜ao ´e o estudante ter que ler 7 linhas, contendo 6 elementos em cada linha, conforme
ilustrado na Figura 10.4.
Uma solu¸c˜ao mais concisa e gen´erica para a quest˜ao Q1 ´e apresentada no C´odigo 10.5.
´
E
importante ressaltar que essa solu¸c˜ao ´e vi´avel porque todos os casos de teste gerar˜ao entradas no
mesmo formato, como exemplificado na Figura 10.4.
Essa solu¸c˜ao consegue ler matrizes de quaisquer dimens˜oes, caso possuam os mesmos tipos
de elementos, que neste exemplo s˜ao inteiros, separados por espa¸cos, e cada linha da matriz seja lida
com apenas um comando input(). Essa abordagem mais compacta permite uma maior legibilidade
do c´odigo e pode ser ´util em casos em que a entrada segue um formato padr˜ao e bem definido.
No entanto, ´e importante ressaltar que essa solu¸c˜ao pode n˜ao ser adequada para cen´arios onde
a entrada varie em formato ou tamanho, e que, em tais casos, ´e mais indicado utilizar uma abordagem
mais espec´ıfica para a leitura da entrada. Al´em disso, ´e fundamental que o enunciado da quest˜ao seja
claro e objetivo, permitindo que o estudante compreenda as restri¸c˜oes e especifica¸c˜oes do problema.
Dessa forma, o estudante poder´a desenvolver uma solu¸c˜ao adequada e eficiente, considerando todas
as competˆencias a serem avaliadas.
Por fim, ´e importante mencionar que a escolha da linguagem de programa¸c˜ao pode impactar
o desenvolvimento da solu¸c˜ao, e que, portanto, ´e recomend´avel que o enunciado seja elaborado para
permitir solu¸c˜oes em diferentes linguagens. Assim, os estudantes ter˜ao a oportunidade de aplicar
seus conhecimentos e habilidades em diferentes contextos.
A segunda quest˜ao sobre parcelas sem juros, a ser inserida no arquivo de c´odigo Q2.py da
atividade VPL, pode ser resolvida com o seguinte comando: print(f"{float(input())/12:.2f}").
Este comando lˆe a entrada fornecida, converte para o formato float, divide por 12 parcelas (como
definido no enunciado da segunda quest˜ao na Figura 10.4) e formata o resultado com duas casas
decimais.
Francisco de Assis Zampirolli MCTest 167
CAP
´
ITULO 10. EXAMES COM MCTEST+MOODLE+VPL
Quest˜ao:
1 import numpy as np
2
3 # Defini¸c~ao das vari´aveis que indicam o n´umero de linhas e colunas da matriz
4 linhas, colunas = 7, 6
5
6 # Inicializa¸c~ao da matriz M como uma lista vazia
7 M = []
8
9 # Loop para preenchimento da matriz M
10 for l in range(linhas):
11 # Inicializa¸c~ao da linha l da matriz M como uma lista vazia
12 linha = []
13
14 # Leitura da linha l da matriz como uma string separada por espa¸cos em branco
15 linhaChar = input().split(' ')
16
17 # Loop para preencher a linha l da matriz M com os valores lidos pelo usu´ario
18 for c in linhaChar:
19 # Verifica¸c~ao se o caractere n~ao ´e vazio
20 if c:
21 # Convers~ao e inser¸c~ao do valor na linha l da matriz M
22 valor = int(c)
23 linha.append(valor)
24
25 # Adi¸c~ao da linha l `a matriz M
26 M.append(linha)
27
28 # C´alculo da soma de todos os elementos da matriz M utilizando o m´etodo sum
29 soma = np.sum(M)
30
31 # Impress~ao do resultado da soma
32 print(f'soma = {soma}')
C´odigo 10.4: Exemplo de solu¸c˜ao para a quest˜ao de matriz do exame no VPL.
10.2 Detalhando o arquivo linker.json
Esta se¸c˜ao detalha o arquivo linker.json, sendo amplamente utilizado para trocar dados
entre sistemas e fornece uma maneira f´acil de armazenar e acessar informa¸c˜oes estruturadas. Com
o arquivo linker.json, o professor pode facilmente importar as varia¸c˜oes do exame em um sistema
de gerenciamento de exames, como o Moodle com VPL, para criar e administrar o exame.
A vers˜ao 11 mais recente do arquivo linker.json est´a sendo validada e em breve ser´a inclu´ıda
no GitHub, para poder usufruir de todos os novos recursos ao criar uma quest˜ao no MCTest com
integra¸c˜ao VPL.
´
E destacada uma nova chave no dicion´ario chamada skills. Essa chave cont´em um
conjunto de habilidades que o estudante deve desenvolver para resolver a quest˜ao. Por exemplo, se a
quest˜ao verifica a competˆencia do estudante em criar la¸cos de repeti¸c˜ao utilizando o comando while,
as adapta¸c˜oes nos arquivos do VPL ir˜ao verificar se o estudante realmente utilizou essa habilidade.
Francisco de Assis Zampirolli MCTest 168
10.2. DETALHANDO O ARQUIVO LINKER.JSON
Quest˜ao:
1 import numpy as np
2
3 def lerMatriz():
4 """ler matriz de inteiros"""
5 M, ler_linha = [], input()
6 while ler_linha:
7 M.append([int(i) for i in ler_linha.split(' ') if i])
8 ler_linha = input()
9 return M
10
11 print(f'soma = {np.sum(lerMatriz())}')
C´odigo 10.5: Exemplo de solu¸c˜ao compacta e gen´erica para a quest˜ao de matriz do exame no VPL.
´
E importante ressaltar que para cada disciplina devem haver conjuntos espec´ıficos de habilidades a
serem avaliadas e esses conjuntos devem crescer progressivamente.
Dessa forma, o arquivo linker.json se torna uma ferramenta valiosa para avaliar as com-
petˆencias dos estudantes de forma mais precisa e objetiva. Com as adapta¸c˜oes nos arquivos do VPL,
´e poss´ıvel verificar se as habilidades necess´arias para resolver a quest˜ao foram efetivamente utilizadas,
garantindo uma avalia¸c˜ao mais coerente para aprendizagem da disciplina.
Na Se¸c˜ao 5.3.3 – Quest˜ao com exerc´ıcio de programa¸c˜ao no MCTest+Moodle+VPL, ´e
apresentado o dicion´ario moodle_cases de uma QT com integra¸c˜ao VPL para popular o arquivo
linker.json. O trecho de c´odigo a seguir exemplifica como o arquivo linker.json ´e estruturado.
O arquivo consiste em uma varia¸c˜ao de quest˜oes do exame, identificada pela chave variant, e
uma lista de quest˜oes. Cada quest˜ao ´e identificada pela chave key, sendo um valor ´unico do banco de
dados associado a cada quest˜ao. Al´em disso, a quest˜ao possui um n´umero de identifica¸c˜ao, indicado
pela chave number, que representa a ordem da quest˜ao na variante do exame, um arquivo de c´odigo
relacionado, indicado pela chave file, que deve ser utilizado com o mesmo nome e extens˜ao em
alguma linguagem, como Q1.py para Python, e um peso, indicado pela chave weight. Este peso
´e a dificuldade da quest˜ao, definida na Se¸c˜ao 4.1 – Tutoriais gerais sobre a navega¸c˜ao de quest˜oes
(ver Figura 4.5). Por exemplo, se um exame tem duas quest˜oes VPL, com dificuldades 1 e 2,
respectivamente, a primeira quest˜ao ter´a uma nota fracionada de 1/3, enquanto a segunda quest˜ao
valer´a 2/3, sendo que a segunda quest˜ao tem o dobro da dificuldade da primeira.
A quest˜ao tamb´em pode ter uma lista de linguagens de programa¸c˜ao poss´ıveis para a sua
resolu¸c˜ao, indicada pela chave language, uma lista de habilidades que o estudante deve desenvolver
para resolvˆe-la, indicada pela chave skills, e uma descri¸c˜ao, indicada pela chave description, que
pode ser o enunciado da quest˜ao a ser apresentado na descri¸c˜ao da quest˜ao no Moodle em formato
TXT. Por fim, a quest˜ao cont´em uma lista de casos de teste, cada um contendo uma entrada e uma
sa´ıda esperada, indicados pelas chaves input e output, respectivamente.
Vale relembrar que a defini¸c˜ao do arquivo JSON contou com a valorosa colabora¸c˜ao do Prof.
Dr. Paulo Henrique Pisani e seu orientando Heitor Rodrigues Savegnago para a adapta¸c˜ao dos
Francisco de Assis Zampirolli MCTest 169
CAP
´
ITULO 10. EXAMES COM MCTEST+MOODLE+VPL
arquivos de configura¸c˜ao do VPL.
Essa estrutura permite uma administra¸c˜ao mais eficiente e precisa do exame, possibilitando
a cria¸c˜ao de diferentes varia¸c˜oes de quest˜oes com pesos e habilidades diferentes.
Conte´udo do arquivo linker.json de at´e a primeira quest˜ao:
{
"variations": [
{
"variant": "1",
"questions": [
{
"key": "2463",
"number": "1",
"file": "Q1",
"weight": "1",
"language": [
"all"
],
"skills": [],
"description": [],
"cases": [
{
"case": "test_1",
"input": [
"8 2 8 8 7 3\n0 4 9 3 9 8\n5 1 5 1 6 2\n2 1 0 7 7 1\n5 8 6 6 3 3\n4 7 9 5 9 9\n3 3 7 2 1 4\n\n"
],
"output": [
"soma = 201"
]
},
{
"case": "test_2",
"input": [
"7 6 1 8 5 6\n1 6 2 4 2 3\n9 1 1 4 2 5\n1 9 5 8 1 3\n7 1 5 0 1 8\n2 8 2 0 0 2\n6 8 2 4 0 6\n\n"
],
"output": [
"soma = 162"
]
}
]
},
...
A seguir, ´e apresentada a segunda quest˜ao da primeira varia¸c˜ao do exame, seguindo a mesma
ordem da quest˜ao anterior. Como mencionado anteriormente, essa estrutura permite que o arquivo
linker.json seja facilmente gerenciado e adaptado para diferentes necessidades, possibilitando a
cria¸c˜ao e administra¸c˜ao de exames de forma mais eficiente e precisa. Dessa forma, ´e poss´ıvel criar
diferentes varia¸c˜oes do exame, com quest˜oes e pesos diferentes, para avaliar as competˆencias dos
estudantes de forma mais abrangente.
Francisco de Assis Zampirolli MCTest 170
10.3. CONSIDERAC¸
˜
OES FINAIS
Conte´udo do arquivo linker.json da segunda quest˜ao:
...
{
"key": "2454",
"number": "2",
"file": "Q2",
"weight": "1",
"language": [
"all"
],
"skills": [],
"description": [],
"cases": [
{
"case": "test_1",
"input": [
"5009.8\n"
],
"output": [
"417.48"
]
},
{
"case": "test_2",
"input": [
"5009.7\n"
],
"output": [
"417.47"
]
}
]
}
]
},
...
10.3 Considera¸c˜oes finais
Neste cap´ıtulo, foi apresentado como criar exames integrados ao plugin VPL do Moodle,
contendo QTs param´etricas nas quais os estudantes devem submeter EP. Esse tipo de avalia¸c˜ao
tem sido amplamente utilizado em disciplinas de cursos de gradua¸c˜ao e p´os-gradua¸c˜ao da UFABC,
principalmente nas disciplinas introdut´orias envolvendo programa¸c˜ao.
A integra¸c˜ao do VPL com o Moodle permite a corre¸c˜ao autom´atica das atividades de pro-
grama¸c˜ao submetidas pelos estudantes. Para isso, s˜ao necess´arios dois arquivos gerados pelo MCTest:
o linker.json, contendo as varia¸c˜oes do exame e os detalhes de cada quest˜ao, principalmente os ca-
sos de teste; e o students_variations.csv, contendo a varia¸c˜ao atribu´ıda a cada estudante. Esses
arquivos devem ser inseridos na configura¸c˜ao da atividade VPL para a corre¸c˜ao autom´atica ocor-
rer. Foram detalhados todos os passos necess´arios para criar uma atividade VPL para um exame,
Francisco de Assis Zampirolli MCTest 171
CAP
´
ITULO 10. EXAMES COM MCTEST+MOODLE+VPL
incluindo a configura¸c˜ao dos arquivos citados.
O arquivo linker.json ´e uma ferramenta essencial para transferir dados entre sistemas,
contendo de maneira estruturada todas as informa¸c˜oes de um exame, como varia¸c˜oes de quest˜oes,
descri¸c˜oes, pesos, habilidades, casos de teste, entre outros. A vers˜ao mais atual desse arquivo est´a
sendo validada e em breve ser´a disponibilizada, contendo novas chaves como skills, que especifica as
habilidades que o estudante deve desenvolver para resolver cada quest˜ao. Isso permite uma avalia¸c˜ao
mais precisa das competˆencias dos estudantes.
Apesar dos benef´ıcios da avalia¸c˜ao por meio de atividades pr´aticas na aprendizagem ativa,
muitos docentes ainda n˜ao utilizam essa metodologia. A ado¸c˜ao de exames padronizados, como os
apresentados neste trabalho, pode auxiliar na uniformiza¸c˜ao dos conte´udos e habilidades desenvolvi-
das pelos estudantes, fortalecendo o processo de ensino-aprendizagem.
Conclui-se esta parte sobre a cria¸c˜ao e corre¸c˜ao de exames de diferentes estilos, incluindo
quadros de respostas (QRs), al´em de QMs e QTs. Estas ´ultimas podem conter EP que s˜ao pass´ıveis
de corre¸c˜ao autom´atica utilizando o plugin VPL do Moodle. Espera-se que, at´e este ponto do livro,
o potencial do MCTest para criar e corrigir exames tenha sido evidenciado ao professor. Para com-
provar seus benef´ıcios, nos pr´oximos cap´ıtulos ser˜ao apresentados resumos dos principais resultados
publicados at´e o momento.
Francisco de Assis Zampirolli MCTest 172
Francisco de Assis Zampirolli MCTest 174
Cap´ıtulo 11
MCTest vers˜oes 1, 2 e 3 - Quadro de Respostas
(QR)
Conte´udo
11.1 MCTest-1: vers˜ao no Matlab . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
11.2 MCTest-2: vers˜ao no Android . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
11.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
O objetivo desta parte do livro ´e relatar os experimentos realizados no MCTest desde a sua
primeira vers˜ao (MCTest-1), os quais foram publicados como artigos cient´ıficos. Como cada nova
vers˜ao do MCTest incorpora as funcionalidades das vers˜oes anteriores, em geral, ´e poss´ıvel reproduzir
os experimentos realizados nos processos de gera¸c˜ao e corre¸c˜ao de exames nesta vers˜ao web mais
recente do MCTest (MCTest-5). Nos pr´oximos cap´ıtulos, ser˜ao introduzidos alguns dos experimentos
apresentados nos artigos, caso ainda n˜ao tenham sido abordados anteriormente. Esses exemplos ser˜ao
salvos no banco de dados SQL relacionado, que estar´a dispon´ıvel em github.com/fzampirolli/mctest,
arquivo book/1ed-br/mctestLivro.sql, juntamente com o conte´udo deste livro, com o intuito de
enriquecer o texto e torn´a-lo mais interessante.
Antes de iniciar este relato de experiˆencias, ´e importante mencionar que todas as publica¸c˜oes
realizadas n˜ao teriam sido poss´ıveis sem a participa¸c˜ao fundamental dos colaboradores. Al´em
disso, gostaria de destacar o apoio e contribui¸c˜ao dos professores da Universidade Federal do ABC
(UFABC): Guiou Kobayashi, Jos´e Artur Quilici-Gonzalez e Rog´erio Perino de Oliveira Neves. Eles
participaram do processo seletivo da Especializa¸c˜ao em Tecnologias e Sistemas da Informa¸c˜ao (TSI)
da UFABC e colaboraram nas primeiras vers˜oes do MCTest desde 2012. Agrade¸co sua valiosa par-
ticipa¸c˜ao e contribui¸c˜ao no desenvolvimento deste projeto.
O artigo de Kobayashi, Zampirolli e Quilici-Gonzalez (2016) detalha as trˆes primeiras edi¸c˜oes
do TSI na modalidade de Ensino a Distˆancia (EaD), oferecido pela UFABC, as quais foram lan¸cadas
nos anos de 2010, 2012 e 2014. O objetivo do curso ´e suprir a necessidade por profissionais qualificados
175
CAP
´
ITULO 11. MCTEST VERS
˜
OES 1, 2 E 3 - QUADRO DE RESPOSTAS (QR)
em Tecnologia da Informa¸c˜ao no estado de S˜ao Paulo, abrangendo localidades distantes at´e 200 km.
O curso foi ministrado por meio de uma plataforma web. Os experimentos realizados focaram
em superar desafios relacionados ao EaD, como a escalabilidade de professores, o isolamento e a
autentica¸c˜ao dos estudantes. O projeto foi financiado pelo programa UAB (Universidade Aberta
do Brasil), vinculado a CAPES (Coordena¸c˜ao de Aperfei¸coamento de Pessoal de N´ıvel Superior)
do governo brasileiro, permitindo que o curso fosse oferecido gratuitamente. A avalia¸c˜ao positiva
dos cursos demonstra que uma universidade p´ublica pode complementar a forma¸c˜ao profissional de
centenas de estudantes por meio de cursos de EaD de alta qualidade. Os resultados dos experimentos
forneceram referˆencias importantes que podem ser utilizadas em projetos futuros de EaD.
Neste primeiro cap´ıtulo de experimentos, ser´a apresentado um resumo dos artigos que des-
crevem as experiˆencias de cria¸c˜ao de exames com QM est´aticas, utilizando editores de texto como o
Word ou BROffice.
11.1 MCTest-1: vers˜ao no Matlab
A primeira vers˜ao do MCTest (MCTest-1) foi utilizada no processo seletivo do TSI entre os
anos de 2012 e 2017. Durante esse per´ıodo, o exame era realizado no Word ou no BROffice, e a
automatiza¸c˜ao era aplicada apenas na corre¸c˜ao do exame. Para esta vers˜ao, foi publicado o seguinte
artigo.
Artigo descrevendo a parte de vis˜ao computacional do MCTest-1
O artigo de Zampirolli, Quilici-Gonzalez e Neves (2013) descreve o processo de transforma¸c˜ao
de imagens capturadas dos QRs dos exames, como ilustrado na Figura 11.1, em matrizes bin´arias
reduzidas contendo as respostas `as quest˜oes, juntamente com alguns elementos de controle na ´ultima
coluna para as varia¸c˜oes do exame e na ´ultima linha para atribuir pesos diferentes `as quest˜oes.
Figura 11.1: Recorte do PDF com o QR utilizado no MCTest-1.
M´etodo
Como o artigo foi apresentado no Workshop de Vis˜ao Computacional, o m´etodo destaca
o Processamento Digital de Imagens para converter uma imagem capturada pela cˆamera do com-
putador em uma matriz reduzida contendo as respostas marcadas e alguns elementos de controle
adicionais.
Francisco de Assis Zampirolli MCTest 176
11.1. MCTEST-1: VERS
˜
AO NO MATLAB
O m´etodo foi aplicado ao problema real da corre¸c˜ao autom´atica de exames com QMs. Inicial-
mente, o usu´ario posiciona o QR em frente `a cˆamera do computador para salvar a imagem no disco.
Em seguida, a imagem ´e analisada para extrair o gabarito das varia¸c˜oes do exame. Posteriormente,
os QRs dos estudantes podem ser lidos usando o mesmo processo, e a pontua¸c˜ao do exame ´e exibida
na tela e/ou salva em um arquivo.
Experimentos
Neste artigo, foi utilizada uma base de dados composta por 674 exames preenchidos por
candidatos ao TSI, na oferta de 2012. Cada exame foi impresso em uma folha de papel A4 e continha
24 QMs, com cinco alternativas cada, sendo apenas uma a resposta correta. Foram preparados
oito conjuntos diferentes de exames, identificados pela ´ultima coluna da Figura 11.1, cada um com
varia¸c˜oes nas quest˜oes e respostas, como detalhado na Figura 11.3.
O processamento dos exames foi conduzido em um MacBook Pro equipado com um proces-
sador Intel Core 2 Duo de 2,26 GHz, 2 GB de RAM e uma placa de v´ıdeo Nvidia GeForce 9400M,
que disp˜oe de 256 MB de mem´oria compartilhada. Essa aquisi¸c˜ao foi realizada por meio do projeto
FAPESP 2009/14430–1. As capturas dos QRs preenchidos e das varia¸c˜oes foram realizadas utili-
zando a cˆamera embutida de 2 megapixels. O processamento das imagens foi realizado por meio do
MATLAB vers˜ao 2011. O processamento das imagens dos exames seguiu os seguintes passos:
1. Leitura das varia¸c˜oes para cada conjunto de exames;
2. Salvamento de uma imagem no formato TIFF contendo apenas a ´area do QR da varia¸c˜ao,
conforme ilustrado na Figura 11.1;
3. Salvamento de uma matriz bidimensional contendo as respostas corretas para cada tipo de
exame;
4. Leitura dos QRs dos exames dos estudantes;
5. Salvamento da imagem de cada exame em um arquivo TIFF separado;
6. Adi¸c˜ao dos resultados processados dos exames a um arquivo CSV.
Os resultados dos experimentos demonstraram que o m´etodo proposto consegue corrigir auto-
maticamente exames com QMs com alta precis˜ao. A m´edia de erros foi de apenas 0,2%, representando
uma precis˜ao significativamente maior em compara¸c˜ao aos m´etodos tradicionais de corre¸c˜ao, como a
corre¸c˜ao manual e a corre¸c˜ao por meio de softwares comerciais testados na ´epoca.
Apesar das instru¸c˜oes do exame, que deixavam claro que os quadrados deveriam ser preenchi-
dos completamente com tinta para garantir uma identifica¸c˜ao correta, foram identificadas respostas
inv´alidas em 6,7% dos 674 exames (42 exames). Essas respostas foram prontamente identificadas
visualmente pelo operador e a pontua¸c˜ao foi ajustada conforme necess´ario.
Francisco de Assis Zampirolli MCTest 177
CAP
´
ITULO 11. MCTEST VERS
˜
OES 1, 2 E 3 - QUADRO DE RESPOSTAS (QR)
11.2 MCTest-2: vers˜ao no Android
Artigo descrevendo o MCTest-2 para dispositivos m´oveis
O MCTest, Vers˜ao 2 (MCTest-2), ´e um aplicativo desenvolvido para dispositivos m´oveis,
especificamente para Android, que realiza a corre¸c˜ao autom´atica de exames com QMs. Essa vers˜ao
foi detalhado do artigo de China, Zampirolli, Neves e Quilici-Gonzalez (2016) e ´e uma adapta¸c˜ao da
primeira vers˜ao desenvolvida para computador pessoal (PC) utilizando o MATLAB. Nesta vers˜ao
MCTest-2, as t´ecnicas de processamento digital de imagens foram otimizadas para uso em dispositivos
m´oveis, e a biblioteca OpenCV foi empregada em substitui¸c˜ao `a “Toolbox de Processamento de
Imagem” do MATLAB.
O estudante de Inicia¸c˜ao Cient´ıfica Rodrigo China foi respons´avel pelo desenvolvimento do
MCTest-2, e os detalhes sobre a parte de Processamento Digital de Imagens foram publicados no
Workshop de Vis˜ao Computacional (ZAMPIROLLI, 2015). Al´em disso, o trabalho tamb´em foi
apresentado como pˆoster em um evento de Inicia¸c˜ao Cient´ıfica (CHINA; ZAMPIROLLI, 2014).
M´etodo
O artigo de China, Zampirolli, Neves e Quilici-Gonzalez (2016) descreve o MCTest-2 desen-
volvido em Java e pode ser utilizado em dispositivos com cˆamera embutida e sistema operacional
Android, Vers˜ao 4.0 ou superior. No entanto, a resolu¸c˜ao da cˆamera pode limitar o n´umero m´aximo
de quest˜oes e respostas no papel do exame.
O processo de utiliza¸c˜ao do aplicativo consiste em trˆes etapas. Na primeira etapa, ´e poss´ıvel
criar um novo projeto ou carregar um projeto previamente salvo. O projeto ´e armazenado em uma
subpasta com o nome correspondente. Na segunda etapa, os gabaritos com as respostas corretas s˜ao
salvos. Esses gabaritos podem ser criados utilizando qualquer software de edi¸c˜ao de texto. Por fim,
na terceira etapa, ´e feita a compara¸c˜ao entre os exames dos estudantes e os gabaritos correspondentes.
A Figura 11.2 demonstra o aplicativo utilizado em um gabarito impresso.
A Figura 11.3 exibe o QR. Esse QR representa um exame com QMs com 10 quest˜oes e
5 poss´ıveis respostas para cada quest˜ao. Uma linha e uma coluna adicionais s˜ao inclu´ıdas para
armazenar informa¸c˜oes sobre a varia¸c˜ao de exame e a avalia¸c˜ao ponderada. Para identificar a varia¸c˜ao
do exame, ´e utilizada a coluna da direita, com os bits 0-3 indicando o n´umero da varia¸c˜ao em
formato bin´ario. Isso permite a cria¸c˜ao de gabaritos de exame diferentes, com quest˜oes e respostas
embaralhadas manualmente para evitar trapa¸cas. O n´umero de varia¸c˜oes de exames poss´ıveis ´e
determinado pelo n´umero de alternativas de resposta, e a avalia¸c˜ao ponderada ´e permitida na ´ultima
linha da tabela.
O QR processado e apresentado no formato CSV a seguir, gerado pelo aplicativo, cont´em
informa¸c˜oes sobre as respostas de dois exames. A primeira linha mostra o n´umero de quest˜oes,
respostas e quantos QRs foram processados. Em seguida, os cabe¸calhos das colunas, que incluem
n´umero, ID, tipo/varia¸c˜ao, quantidade de respostas inv´alidas, quantidade de respostas erradas, quan-
tidade de respostas corretas e pontua¸c˜ao final. A partir da segunda linha, cada linha corresponde a
Francisco de Assis Zampirolli MCTest 178
11.2. MCTEST-2: VERS
˜
AO NO ANDROID
Figura 11.2: Demonstra¸c˜ao da captura a partir de um gabarito impresso.
Figura 11.3: As quest˜oes marcadas na parte inferior indicam um valor ponderado atribu´ıdo a quest˜ao,
as maras `a direita representam diferentes gabaritos e a identifica¸c˜ao do gabarito ´e a marca `a direita
e abaixo. Fonte: China, Zampirolli, Neves e Quilici-Gonzalez (2016).
um participante do exame. As colunas seguintes representam as respostas para cada uma das dez
quest˜oes do exame.
Al´em disso, o aplicativo tamb´em oferece a op¸c˜ao de visualizar estat´ısticas por turma, conforme
ilustrado na Figura 11.4. Esse aplicativo possui v´arias telas apresentadas e detalhadas no trabalho
de China, Zampirolli, Neves e Quilici-Gonzalez (2016).
Francisco de Assis Zampirolli MCTest 179
CAP
´
ITULO 11. MCTEST VERS
˜
OES 1, 2 E 3 - QUADRO DE RESPOSTAS (QR)
Conte´udo do arquivo CSV com estat´ısticas e as marca¸c˜oes realizadas.
10 5 2 1
Numero ID Tipo Invalidas Erradas Corretas Final Ques: 1 2 3 4 5 6 7 8 9 10
1 0 0 1 2 8 8.0 Ans: C D A B C C D E O C
2 0 0 0 2 8 8.0 Ans: C D A B C C D E A C
Figura 11.4: Estat´ısticas sobre o n´umero de respostas corretas em uma turma. Fonte: China,
Zampirolli, Neves e Quilici-Gonzalez (2016).
Experimentos
O aplicativo foi testado em dois cen´arios reais, envolvendo 41 e 64 estudantes, respectiva-
mente. Em ambos os casos, o MCTest apresentou uma precis˜ao de 100% quando os estudantes
preencheram corretamente os QRs. O aplicativo considera os blocos preenchidos se eles contiverem
pelo menos 50% da ´area pintada.
´
E importante incluir instru¸c˜oes claras no exame, explicando como
preencher completamente o QR usando caneta preta ou l´apis, a fim de evitar pontua¸c˜oes mais baixas.
O tempo de processamento para cada exame varia conforme o dispositivo utilizado. Contudo,
mesmo em dispositivos mais acess´ıveis, o tempo de processamento ´e mais r´apido do que o observado
na vers˜ao anterior no computador pessoal (PC), no caso do MCTest-1.
11.3 Considera¸c˜oes finais
Nas diferentes vers˜oes do MCTest, existem duas abordagens para realizar os experimentos
descritos. A primeira abordagem envolve fornecer as quest˜oes separadamente, como demonstrado
Francisco de Assis Zampirolli MCTest 180
11.3. CONSIDERAC¸
˜
OES FINAIS
no Cap´ıtulo 7 - Exames com Quadro de Respostas (QR), como utilizado na Escola Preparat´oria da
UFABC. A segunda abordagem mais recente ´e incluir as quest˜oes no banco de quest˜oes do MCTest,
conforme descrito no Cap´ıtulo 8 - Exames com QR+QM e/ou QT. Al´em disso, nas vers˜oes mais
recentes, n˜ao ´e mais necess´ario posicionar o QR diante da cˆamera do computador ou celular, como
nas vers˜oes 1 e 2. Agora, ´e poss´ıvel digitalizar todos os exames em um arquivo PDF, tornando o
processo menos repetitivo e permitindo a corre¸c˜ao de exames com centenas de estudantes.
A Vers˜ao 3 do MCTest (MCTest-3) foi desenvolvida em Python, utilizando o mesmo QR das
vers˜oes anteriores. Nessa vers˜ao, as quest˜oes eram fornecidas separadamente e a biblioteca OpenCV
era utilizada para o processamento digital de imagens. Os exames eram digitalizados em um arquivo
PDF para a corre¸c˜ao autom´atica.
Por fim, todas as vers˜oes apresentadas neste cap´ıtulo foram registradas no INPI, conforme
mencionado na Se¸c˜ao 1.2.2 - Vers˜oes do MCTest.
A Vers˜ao 4 do MCTest tamb´em foi desenvolvida em Python, mas agora utiliza QRs criados
no L
A
T
E
X. Al´em disso, as quest˜oes s˜ao geradas utilizando uma vers˜ao diferente, a 4.G (de generate),
tamb´em com o L
A
T
E
X. Os experimentos realizados com essas vers˜oes ser˜ao apresentados no pr´oximo
cap´ıtulo.
Francisco de Assis Zampirolli MCTest 181
CAP
´
ITULO 11. MCTEST VERS
˜
OES 1, 2 E 3 - QUADRO DE RESPOSTAS (QR)
Francisco de Assis Zampirolli MCTest 182
Cap´ıtulo 12
MCTest vers˜oes 4, 4.G e 5
Conte´udo
12.1 MCTest-4: gerando e corrigindo quest˜oes criadas no L
A
T
E
X . . . . . . . . . . . . 172
12.1.1 Artigo descrevendo as vers˜oes do MCTest 4 e 4.G . . . . . . . . . . . . . 172
12.1.2 Artigo comparando as modalidades semipresencial e presencial CS1 com
base na utilidade do MCTest-4 . . . . . . . . . . . . . . . . . . . . . . . 174
12.1.3 Artigo definindo a parametriza¸c˜ao do MCTest ap´os a vers˜ao 4 . . . . . 175
12.2 MCTest-5: a vers˜ao web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
12.2.1 Artigo apresentando a primeira vers˜ao web do MCTest . . . . . . . . . . 179
12.2.2 Artigo descrevendo o MCTest em conjunto com Google Forms e Google
Sheets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
12.2.3 Artigo descrevendo a ado¸c˜ao de QMs com pesos diferentes nas alterna-
tivas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
12.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
Neste cap´ıtulo, s˜ao apresentadas as vers˜oes adicionais do MCTest, nomeadamente o MCTest-
4, MCTest-4.G e MCTest-5.
O MCTest-4 ´e um software desenvolvido para a corre¸c˜ao de exames com QMs. Ele lˆe um
arquivo PDF contendo os QRs dos estudantes, identifica automaticamente cada estudante utilizando
c´odigo de barras e corrige exames individuais com quest˜oes e alternativas aleat´orias. O programa
realiza a corre¸c˜ao dos exames comparando as respostas marcadas com o gabarito e gera um arquivo
CSV contendo a corre¸c˜ao de cada quest˜ao, bem como o n´umero total de quest˜oes corretas e inv´alidas.
O MCTest-4.G (de generate) ´e um software desenvolvido para a gera¸c˜ao de exames com
quest˜oes. Ele lˆe uma estrutura de pastas e arquivos contendo dados de estudantes e matr´ıcula, al´em
de um banco de QMs ou QTs. O MCTest-4.G utiliza esses dados para gerar exames distintos e
aleat´orios para cada estudante. Nas folhas de exame, al´em do nome e matr´ıcula do estudante, h´a
183
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
um c´odigo de barras referente `a sua matr´ıcula.
Al´em disso, neste cap´ıtulo, s˜ao apresentados os experimentos conduzidos na vers˜ao mais
recente, o MCTest-5, que agora ´e baseado na web e usa o banco de dados MySQL. No entanto, a
integra¸c˜ao com as atividades VPL do Moodle ser´a tratada em um cap´ıtulo distinto, devido `a sua
complexidade e `a extensa literatura existente sobre o assunto.
12.1 MCTest-4: gerando e corrigindo quest˜oes criadas no L
A
T
E
X
Tanto o gerador de exames (MCTest-4.G) quanto o corretor (MCTest-4) operam de maneira
independente. No entanto, para assegurar a precis˜ao na corre¸c˜ao dos exames, ´e importante utilizar os
exames gerados pelo MCTest-4.G. Em caso contr´ario, a ´unica alternativa vi´avel ser´a considerar uma
´unica varia¸c˜ao do exame para todos os estudantes, e a identifica¸c˜ao individual de cada estudante
se basear´a na sequˆencia em que eles aparecem no documento PDF. Dessa forma, a corre¸c˜ao ter´a
de ser realizada manualmente, como exemplo, por meio do uso de uma planilha eletrˆonica, onde as
respostas dos estudantes no CSV gerado ser˜ao comparadas com um gabarito, assemelhando-se ao
procedimento nas vers˜oes anteriores do MCTest.
A partir desta se¸c˜ao, ser´a considera apenas a vers˜ao MCTest-4, incorporando as funcionali-
dades das duas vers˜oes.
12.1.1 Artigo descrevendo as vers˜oes do MCTest 4 e 4.G
A vers˜ao 4 do MCTest (MCTest-4) representou um avan¸co significativo em rela¸c˜ao `as vers˜oes
anteriores, ao introduzir melhorias na corre¸c˜ao dos exames. No artigo de Zampirolli, Batista e
Quilici-Gonzalez (2016), ´e apresentada uma solu¸c˜ao inovadora para simplificar a gera¸c˜ao e corre¸c˜ao
de QMs onde a confiabilidade dos resultados ´e fundamental.
M´etodo
No MCTest-4, o programa gera um arquivo L
A
T
E
X e seu respectivo arquivo PDF compilado,
contendo o exame individual de cada estudante. O exame consiste em uma p´agina inicial seguida
por uma lista de QMs e, opcionalmente, QTs. A p´agina inicial ´e projetada para a marca¸c˜ao das
respostas das QMs e inclui um cabe¸calho.
´
E poss´ıvel gerar exames individuais com respostas ´unicas
para cada estudante. Todas essas op¸c˜oes s˜ao configur´aveis em um arquivo de configura¸c˜ao separado.
A pasta MCTest4-master, mostrada na Figura 12.1, cont´em cinco subpastas, incluindo a
pasta courses, destinada a armazenar diferentes turmas de uma mesma disciplina ou de disciplinas
diferentes. Por exemplo, se vocˆe estiver lecionando Programa¸c˜ao Orientada a Objetos (POO) e
Engenharia de Software (ES) em um semestre de 2016, poder´a criar as pastas course1 e course2
dentro de courses para as turmas de POO e ES, respectivamente. Cada pasta conter´a listas de
estudantes e seus respectivos IDs em arquivos CSV, como 16_POO_class1.csv e 16_ES_class2.csv,
seguindo a formata¸c˜ao definida na Se¸c˜ao 3.3.1 – Criar turma com arquivo CSV. As quest˜oes s˜ao
armazenadas na pasta questions em arquivos TXT, seguindo a mesma estrutura apresentada na
Se¸c˜ao 4.1 – Tutoriais gerais sobre a navega¸c˜ao de quest˜oes. A gera¸c˜ao de um exame para uma turma
Francisco de Assis Zampirolli MCTest 184
12.1. MCTEST-4: GERANDO E CORRIGINDO QUEST
˜
OES CRIADAS NO L
A
T
E
X
Figura 12.1: Estrutura de pastas do MCTest-4. Fonte: Zampirolli, Batista e Quilici-Gonzalez
(2016).
espec´ıfica requer a configura¸c˜ao no arquivo config.txt. Para mais detalhes sobre essa estrutura de
pastas e arquivos, consulte o artigo de Zampirolli, Batista e Quilici-Gonzalez (2016).
Os estudantes preenchem os QRs na p´agina inicial do exame, que j´a cont´em seus nomes e
n´umeros de identifica¸c˜ao em um c´odigo de barras, no caso de exames individuais. Ap´os a conclus˜ao
do exame, todas as p´aginas com os QRs podem ser digitalizadas em um ´unico arquivo PDF, que o
software utiliza para realizar a corre¸c˜ao autom´atica. As notas finais s˜ao armazenadas em um arquivo
CSV que cont´em o ID de cada estudante, seguindo o mesmo estilo apresentado na Se¸c˜ao 7.3.1 -
Arquivo CSV com as corre¸c˜oes.
O programa createTexTests.py, apresentado na Figura 12.1, ´e respons´avel por gerar um
arquivo GAB contendo os gabaritos das respostas individuais de cada estudante, caso sejam utilizados
exames aleat´orios. O corretor, por sua vez, lˆe um arquivo PDF contendo as p´aginas digitalizadas dos
exames e utiliza o arquivo GAB para calcular as notas. As respostas dos estudantes s˜ao identificadas
atrav´es da an´alise das marca¸c˜oes nas quest˜oes. Caso ocorram erros de leitura do c´odigo de barras
ou das marca¸c˜oes, o corretor sinaliza esses problemas nas notas. O arquivo de notas ´e gerado em
formato CSV.
O MCTest-4 foi elaborado utilizando a linguagem de programa¸c˜ao Python e se encontra
dispon´ıvel gratuitamente em github.com/fzampirolli/MCTest4. Professores podem fazer o download
do c´odigo em Python, acompanhado da estrutura de pastas e exemplares de arquivos, para gerar os
exames.
Para utilizar o programa, ´e necess´ario que o professor instale o Python e as bibliotecas
necess´arias, como a OpenCV. Uma alternativa ´e enviar os arquivos GAB e PDF digitalizados para o
Francisco de Assis Zampirolli MCTest 185
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
servidor do MCTest-4 por meio do FTP. Neste servidor, h´a um script que detecta automaticamente
esses arquivos e os processa. O arquivo de notas resultante pode ser enviado por e-mail ou baixado do
servidor. Todo esse processo ´e detalhado no artigo de Zampirolli, Batista e Quilici-Gonzalez (2016).
Experimentos
Segundo os autores do artigo, s˜ao descritos trˆes experimentos realizados com o MCTest-4. O
primeiro experimento foi realizado com uma turma de 66 estudantes da disciplina de Programa¸c˜ao
Orientada a Objetos. Os exames foram gerados com 10 QMs e uma QT. Os resultados foram
satisfat´orios, com apenas um erro de leitura. O segundo experimento foi realizado com uma turma
de 130 estudantes da disciplina de Processamento de Informa¸c˜ao. Os exames foram gerados com
12 QMs e uma QT. Os resultados tamb´em foram satisfat´orios, sem nenhum erro de leitura. O
terceiro experimento foi realizado com 6772 estudantes de escolas p´ublicas do Brasil. Os exames
foram gerados com 11 QMs para os estudantes do ensino m´edio e 13 quest˜oes para os estudantes do
ensino fundamental. Os resultados foram satisfat´orios, com uma taxa de erros de leitura de 1,88%.
No terceiro experimento, foi utilizado um servidor adquirido com recursos da FAPESP, pro-
cesso 2009/14430–1, com um microprocessador, Intel (R) Core (TM) i7, CPU X980@3.33GHz com
12GB de RAM, sistema operacional Linux Ubuntu 64 bits vers˜ao 15.04 e execut´aveis gerados por
Python 2.7.9. Um script do MCTest-4 ´e executado a cada minuto e procura por arquivos com
extens˜ao PDF (sem arquivos GAB), para os quais os arquivos CSV correspondentes ainda n˜ao fo-
ram criados. O corretor autom´atico levou 102 minutos para processar os 6772 exames, ou seja, 0,9
segundos por exame.
Os resultados dos experimentos indicam que o MCTest-4 ´e uma ferramenta eficaz para a
avalia¸c˜ao de estudantes. O programa consegue gerar exames com quest˜oes de qualidade e de corrigi-
los de forma r´apida e precisa. Al´em disso, o programa ´e f´acil de usar e pode ser personalizado para
atender `as necessidades espec´ıficas de cada professor.
12.1.2 Artigo comparando as modalidades semipresencial e presencial CS1 com
base na utilidade do MCTest-4
O artigo de Zampirolli, Goya, Pimentel e Kobayashi (2018), publicado na revista Compu-
ter Applications in Engineering Education, descreve um processo de avalia¸c˜ao desenvolvido para a
disciplina de Processamento da Informa¸c˜ao (ou Introdu¸c˜ao `a Programa¸c˜ao, IP, ou tamb´em CS1)
oferecido pela Universidade Federal do ABC. O estudo compara a modalidade presencial (IP-FF –
face-to-face) e a modalidade semipresencial blended learning (IP-BL), onde apenas as avalia¸c˜oes s˜ao
realizadas presencialmente.
M´etodo
O processo de avalia¸c˜ao foi desenvolvido a partir da identifica¸c˜ao de problemas no processo
de avalia¸c˜ao de IP-FF. Os problemas identificados foram: Avalia¸c˜ao de crit´erios diferentes entre
Francisco de Assis Zampirolli MCTest 186
12.1. MCTEST-4: GERANDO E CORRIGINDO QUEST
˜
OES CRIADAS NO L
A
T
E
X
professores; falta de uniformidade na formata¸c˜ao dos exames; dificuldade de calcular a nota final do
estudante.
Para resolver esses problemas, o processo de avalia¸c˜ao proposto utiliza: um banco de quest˜oes
com diferentes n´ıveis de dificuldade; um sistema para gerar exames ´unicos para cada estudante; um
sistema para corrigir os exames de forma semi-autom´atica.
Experimentos
Os experimentos foram conduzidos em 10 turmas da disciplina IP-BL e demonstraram que
o processo de avalia¸c˜ao conseguiu padronizar os crit´erios de avalia¸c˜ao, aprimorar a formata¸c˜ao dos
exames e simplificar o c´alculo da nota final. Os exames foram elaborados utilizando adapta¸c˜oes no
software MCTest-4.G, contendo trˆes QTs em cada exame. Para aumentar a diversidade, as quest˜oes
foram replicadas manualmente com modifica¸c˜oes em alguns parˆametros.
Foram criados scripts em Python para auxiliar nas avalia¸c˜oes da disciplina. Essas ferramen-
tas automatizadas incluem a gera¸c˜ao autom´atica de exames individuais, a organiza¸c˜ao dos exames
digitalizados por quest˜ao e estudante, a compila¸c˜ao do c´odigo submetido pelos estudantes e o envio
autom´atico de e-mails com as notas e os erros apontados pelos professores. Todos esses scripts foram
adaptados e incorporados na vers˜ao web mais recente, MCTest-5.
A primeira avalia¸c˜ao da disciplina foi realizada em formato impresso, onde os estudantes
tinham que resolver trˆes EPs. Uma das quest˜oes envolvia o uso de teste de mesa, conforme ilustrado
na Figura 4.12. Um exemplo de exame utilizado para essa primeira avalia¸c˜ao, onde cada quest˜ao
ocupava uma folha frente e verso, ´e mostrado na Figura 12.2. As resolu¸c˜oes dos estudantes eram
digitalizadas e enviadas aos professores, sendo que cada professor corrigia uma ´unica quest˜ao de
todos os estudantes da disciplina na modalidade IP-BL.
Na segunda avalia¸c˜ao, os estudantes tamb´em tinham que resolver trˆes EPs, mas desta vez elas
foram enviadas por meio da plataforma AVA (Ambiente Virtual de Aprendizagem) tidia4.ufabc.edu.br.
Todos os c´odigos submetidos pelos estudantes foram salvos em um computador e executados automa-
ticamente para verificar poss´ıveis erros. Os professores deveriam atribuir um conceito a cada arquivo
de c´odigo.
Essas corre¸c˜oes unificadas ocorreram nos anos de 2016.3, 2017.1 e 2017.2, com um total de
235, 185 e 161 estudantes, respectivamente. A UFABC utiliza trˆes per´ıodos letivos por ano.
Esses aquivos de c´odigos dos estudantes foram tamb´em utilizados como dataset para o ar-
tigo de Souza, Zampirolli e Kobayashi (2019), onde apresenta um m´etodo para validar as notas
atribu´ıdas por professores aos EPs de estudantes em IP-BL. Foi utilizado um modelo de rede neu-
ral convolucional treinado com c´odigos fonte de estudantes avaliados por diferentes professores. Os
c´odigos foram pr´e-processados e convertidos em representa¸c˜oes embedding, utilizadas como entrada
para a rede neural. O modelo obteve uma precis˜ao m´edia de 74,9% na classifica¸c˜ao das notas dos
exerc´ıcios. Essa abordagem pode ajudar a detectar poss´ıveis erros no processo de avalia¸c˜ao realizado
pelos professores.
Os resultados mostraram a redu¸c˜ao da dispers˜ao nas notas ap´os a implementa¸c˜ao do pro-
cesso de avalia¸c˜ao unificado. No entanto, ainda ´e preciso enfrentar desafios como a resistˆencia dos
Francisco de Assis Zampirolli MCTest 187
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Figura 12.2: Recorte de um exame gerado com MCTest-4.G.
professores em adotar crit´erios unificados e a incorpora¸c˜ao de ferramentas de corre¸c˜ao autom´atica no
AVA. O artigo ressalta a importˆancia de atividades de motiva¸c˜ao e acompanhamento dos estudantes
para melhorar os ´ındices de aprova¸c˜ao na disciplina.
12.1.3 Artigo definindo a parametriza¸c˜ao do MCTest ap´os a vers˜ao 4
Todo o conte´udo apresentado no Cap´ıtulo 5 – Quest˜oes param´etricas, exceto a se¸c˜ao refe-
rente ao VPL, foi originalmente publicado no artigo de Zampirolli, Teubl e Batista (2019a). Em
resumo, para criar quest˜oes param´etricas no MCTest-4, s˜ao necess´arios dois delimitadores especiais:
[[code:...]] e [[def:...]]. O primeiro deve ser colocado no enunciado da quest˜ao ou nas al-
ternativas e define instru¸c˜oes em Python ou vari´aveis a serem usadas na gera¸c˜ao do exame de cada
estudante. J´a o segundo deve ser definido no final do enunciado e deve conter os poss´ıveis valores
para as vari´aveis aplicadas anteriormente.
Esse artigo apresenta duas quest˜oes param´etricas utilizando arquivos TXT, conforme apresen-
tado na Se¸c˜ao 4.1 - Tutoriais gerais sobre a navega¸c˜ao de quest˜oes, reproduzidas a seguir. Lembrando
que a contribui¸c˜ao desse artigo criou quest˜oes param´etricas e na ´epoca da escrita do artigo, a vers˜ao
web ainda n˜ao estava dispon´ıvel. A seguir, s˜ao apresentadas essas quest˜oes, por´em, na vers˜ao web
do MCTest.
Movimento Retil´ıneo Uniforme com a biblioteca symbols
O C´odigo 12.1 implementa um algoritmo para calcular a vari´avel tempo (t) em um problema
de Movimento Retil´ıneo Uniforme (MRU), dado a posi¸c˜ao inicial (s0), a velocidade (v) e a posi¸c˜ao
final (s) do corpo. O m´etodo algorithm(a) recebe como entrada uma lista contendo trˆes valores
inteiros: a posi¸c˜ao inicial (s0), a velocidade (v) e a posi¸c˜ao final (s), nessa ordem. Na primeira linha
Francisco de Assis Zampirolli MCTest 188
12.1. MCTEST-4: GERANDO E CORRIGINDO QUEST
˜
OES CRIADAS NO L
A
T
E
X
do m´etodo, s˜ao importados os m´odulos symbols e solve da biblioteca SymPy (docs.sympy.org), que
permite criar s´ımbolos matem´aticos para serem usados em c´alculos simb´olicos e tamb´em resolver
uma equa¸c˜ao, respectivamente. S˜ao definidos os s´ımbolos s e t utilizando o m´etodo symbols, e a
posi¸c˜ao s ´e calculada como a soma da posi¸c˜ao inicial s0 com a velocidade v multiplicada pelo tempo
t. Por fim, o m´etodo solve ´e utilizado para resolver a equa¸c˜ao s-a2=0 em rela¸c˜ao `a vari´avel t. O
resultado ´e armazenado na vari´avel r como um n´umero decimal (do tipo float) e retornado pelo
m´etodo algorithm(a) como o tempo necess´ario para o objeto percorrer a distˆancia entre as posi¸c˜oes
s0 e s com velocidade v em MRU. Um exemplo de sa´ıda desta quest˜ao pode ser visualizado na Figura
12.3.
Quest˜ao:
1 Um autom´ovel percorre uma estrada com fun¸c~ao hor´aria \( s=[[code:a0]] +
2 [[code:a1]]t \), onde \(s\) ´e dado em quil^ometros e \(t\) em horas.
3 O autom´ovel passa pelo km [[code:a2]] ap´os:
4
5 [[def:
6 def generate_numbers():
7 """ Gera tr^es n´umeros aleat´orios e retorna-os como uma lista. """
8 import random
9 global a0, a1, a2 # necess´ario declarar como global para utilizar no enunciado
10 a0 = random.randrange(-6, 12, 1) # s0 - posi¸c~ao inicial
11 a1 = random.randrange(3, 8, 1) # v - velocidade
12 a2 = random.randrange(3, 8, 1) # s - posi¸c~ao final
13 return [a0, a1, a2]
14
15 def algorithm(a):
16 """ Executa um algoritmo matem´atico utilizando os valores passados como
17 par^ametro. Retorna o resultado do algoritmo. """
18 from sympy import symbols, solve
19 a0, a1, a2 = a # s0, v, s
20 s, t = symbols('s,t')
21 s = a0 + a1 * t
22
23 r = float(solve(s - a2, t)[0])
24 return r
25
26 # Gera os n´umeros aleat´orios
27 numbers = generate_numbers()
28
29 # Executa o algoritmo utilizando os n´umeros gerados
30 correctAnswer = algorithm(numbers)
31 # [[code:f"{correctAnswer:.2f}"]]
32
33 # Op¸c~oes de respostas erradas com base no resultado do algoritmo
34 # [[code:f"{correctAnswer+1.2:.2f}"]]
35 # [[code:f"{correctAnswer+4.8:.2f}"]]
36 # [[code:f"{correctAnswer-0.9:.2f}"]]
37 ]]
C´odigo 12.1: Exemplo de QM param´etrica para calcular MRU.
Francisco de Assis Zampirolli MCTest 189
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Figura 12.3: Recorte do PDF gerado para a quest˜ao de MRU do C´odigo 12.1.
Aten¸c˜ao:
1. Toda vari´avel declarada em um m´etodo e utilizada no enunciado da quest˜ao deve ser
definida como global, como pode ser visto na linha 9 do C´odigo 12.1;
2. As importa¸c˜oes de bibliotecas tamb´em devem ser realizadas nos m´etodos, como podem
ser vistos nas linhas 8 e 18.
Cria¸c˜ao de Matriz
A quest˜ao a seguir ´e uma adapta¸c˜ao daquela apresentada na Se¸c˜ao 4.1 – Tutoriais ge-
rais sobre a navega¸c˜ao de quest˜oes, por´em, agora ´e parametrizada com as dimens˜oes da matriz
e os elementos atribu´ıdos. O C´odigo 12.2 ´e respons´avel por criar uma matriz M com dimens˜oes
[[code:Linhas]] × [[code:Colunas]]. Cada elemento da matriz ´e calculado utilizando a f´ormula (i, j) =
((((i + 1) × [[code:a2]]) + ((j + 1) × [[code:a3]])) mod 100), onde i representa as linhas e j representa
as colunas da matriz. Na pr´atica, o c´odigo gera aleatoriamente o n´umero de linhas e colunas da
matriz, num intervalo espec´ıfico, assim como os valores de a2 e a3, escolhidos aleatoriamente entre
as op¸c˜oes [7, 13, 19] e [11, 17, 23], respectivamente. A matriz ´e inicializada com zeros e, em seguida,
preenchida utilizando dois la¸cos aninhados. Cada elemento M[i, j] recebe o resultado do c´alculo
mencionado anteriormente. Por fim, a vari´avel global correctAnswer ´e definida como a soma de
todos os elementos da matriz M . Um exemplo de sa´ıda desta quest˜ao pode ser visualizado na Figura
12.4.
Experimentos
O m´etodo proposto para gerar quest˜oes param´etricas foi aplicado na disciplina de Processa-
mento da Informa¸c˜ao (ou Introdu¸c˜ao `a Programa¸c˜ao, IP, ou tamb´em CS1) no segundo trimestre de
2018, com um total de 167 estudantes matriculados. A disciplina foi oferecida em um formato semi-
presencial, com aulas presenciais ocorrendo em quatro momentos ao longo do semestre: na abertura,
no primeiro exame, no projeto e no segundo exame.
Francisco de Assis Zampirolli MCTest 190
12.1. MCTEST-4: GERANDO E CORRIGINDO QUEST
˜
OES CRIADAS NO L
A
T
E
X
Quest˜ao:
1 Criar uma matriz \( [[code:Linhas]] \times [[code:Colunas]] \) com elementos
2 \( (i,j) = ((((i+1) * [[code:a2]]) + ( ( j+1) * [[code:a3]])) \mod{100}) \).
3 Calcular a soma dos elementos desta matriz. Os ´ındices \(i\) s~ao as linhas
4 e \(j\) as colunas iniciadas com o valor \(0\).
5
6 [[def:
7 import numpy as np, random
8
9 # Gerar n´umero aleat´orio de linhas e colunas
10 Linhas = np.random.randint(4, 8)
11 Colunas = np.random.randint(4, 8)
12
13 # Escolher valores aleat´orios para a2 e a3
14 a2 = random.choice([7, 13, 19])
15 a3 = random.choice([11, 17, 23])
16
17 # Inicializar matriz com zeros
18 M = np.zeros((Linhas, Colunas), dtype=int)
19
20 # Preencher a matriz com os c´alculos
21 for i in range(Linhas):
22 for j in range(Colunas):
23 M[i, j] = (((i+1) * a2) + ((j+1) * a3)) % 100
24
25 # Calcular a soma dos elementos da matriz
26 correctAnswer = np.sum(M)
27
28 # Incluir nas alternativas da quest~ao:
29 # [[code:correctAnswer]] % primeira alternativa (sempre) correta
30 # [[code:createWrongAnswers([3,10])]] % cria 3 alter. erradas +/- 10
31 ]]
C´odigo 12.2: Exemplo de QM param´etrica para criar uma matriz.
Figura 12.4: Recorte do PDF gerado para a quest˜ao para criar uma matriz do C´odigo 12.2.
A disciplina CS1 faz parte de um programa de bacharelado interdisciplinar oferecido pela
universidade, e os estudantes que a cursam tˆem origens diversas. O m´etodo se baseia no software
Francisco de Assis Zampirolli MCTest 191
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
MCTest-4, que permite gerar v´arias vers˜oes diferentes da mesma quest˜ao sem repeti¸c˜oes. Para cada
estudante, foram geradas trˆes quest˜oes de dificuldades diferentes (f´acil, m´edia e dif´ıcil), por´em com
a preocupa¸c˜ao de n˜ao deixar uma varia¸c˜ao de exame mais dif´ıcil que a outra.
Os resultados dos experimentos mostraram que o m´etodo proposto foi eficaz na gera¸c˜ao de
quest˜oes param´etricas para exames impressos. Al´em disso, o uso do MCTest-4 facilitou a corre¸c˜ao
autom´atica dos exames com QMs.
12.2 MCTest-5: a vers˜ao web
A partir deste ponto, todas as publica¸c˜oes foram conduzidas utilizando a vers˜ao web MCTest-
5, que ser´a mencionada simplesmente como MCTest. Esta vers˜ao possibilitou que os docentes em-
pregassem o MCTest sem a necessidade de instala¸c˜oes locais em seus dispositivos, resultando em
not´avel simplifica¸c˜ao tanto na cria¸c˜ao como na avalia¸c˜ao de exames, al´em da viabiliza¸c˜ao do com-
partilhamento de quest˜oes. A seguir, ser˜ao apresentados os artigos diretamente vinculados a esta
edi¸c˜ao online, corroborando sua efic´acia e usabilidade, por´em, ainda sem a integra¸c˜ao do VPL no
Moodle.
12.2.1 Artigo apresentando a primeira vers˜ao web do MCTest
O artigo de Zampirolli, Teubl e Batista (2019b) apresentou a primeira vers˜ao web do MCTest
para gera¸c˜ao e corre¸c˜ao de quest˜oes parametrizadas, aplic´avel a diversas disciplinas e institui¸c˜oes
educacionais. O m´etodo desenvolvido permite criar exames com varia¸c˜oes nos textos, mantendo o
mesmo conte´udo e n´ıvel de dificuldade. Para facilitar o processo, foram desenvolvidas interfaces
gr´aficas que permitem coletar informa¸c˜oes sobre institui¸c˜oes, cursos, disciplinas, t´opicos, turmas,
exames e quest˜oes.
O artigo apresenta as primeiras vers˜oes dessas interfaces gr´aficas, com ˆenfase na vers˜ao mais
recente discutida nos Cap´ıtulos 2 - Vis˜ao geral do MCTest, 4 - Quest˜oes est´aticas e 5 - Quest˜oes
param´etricas. Os resultados detalhados da implementa¸c˜ao desse m´etodo s˜ao apresentados neste
Cap´ıtulo 5.
O processo de gera¸c˜ao de quest˜oes parametrizadas utiliza principalmente a linguagem de
programa¸c˜ao Python, com alguns elementos de L
A
T
E
X presentes no enunciado das quest˜oes. Os
resultados obtidos demonstram a eficiˆencia do sistema, mesmo em sua primeira vers˜ao, que foi
implementada em p´aginas web escritas em Django. O sistema ´e gratuito e oferece aos professores a
capacidade de gerar e corrigir exames automaticamente para centenas ou milhares de estudantes.
A seguir, ser˜ao apresentados exemplos das quest˜oes param´etricas discutidas neste artigo.
Equa¸c˜oes param´etricas com equa¸c˜ao e figura utilizando a biblioteca sympy
A seguir ´e apresentado um exemplo de quest˜ao param´etrica que inclui uma equa¸c˜ao ma-
tem´atica e uma figura. Neste caso, a equa¸c˜ao envolve fun¸c˜oes seno, cosseno e integra¸c˜ao.
O C´odigo 12.3 primeiro importa as bibliotecas sympy e random. A biblioteca SymPy, dis-
pon´ıvel em docs.sympy.org, fornece fun¸c˜oes para trabalhar com express˜oes simb´olicas. O c´odigo
Francisco de Assis Zampirolli MCTest 192
12.2. MCTEST-5: A VERS
˜
AO WEB
ent˜ao gera trˆes n´umeros aleat´orios, a1, a2 e a3, escolhidos entre 3 e 6, 2 e 4, e 1 e 3, respectivamente.
Esses n´umeros ser˜ao usados para definir os parˆametros da fun¸c˜ao. O c´odigo ent˜ao define a vari´avel
simb´olica x e a fun¸c˜ao f. A fun¸c˜ao f ´e uma combina¸c˜ao de fun¸c˜oes seno e cosseno com os parˆametros
a1, a2 e a3. O c´odigo ent˜ao desenha o gr´afico da fun¸c˜ao f no intervalo de -5 a 5. A imagem do
gr´afico ´e salva no arquivo ./tmp/imgs180days/fz_figIntegral_01_{a1}_{a2}_{a3}_{h}.png. O
c´odigo ent˜ao calcula a integral da fun¸c˜ao f. A integral ´e calculada usando a fun¸c˜ao integrate da
biblioteca SymPy. O c´odigo ent˜ao converte a integral para nota¸c˜ao L
A
T
E
X. Por fim, o c´odigo imprime
as seguintes express˜oes em nota¸c˜ao L
A
T
E
X: a integral da fun¸c˜ao f, a resposta correta `a pergunta e
trˆes respostas incorretas.
Aten¸c˜ao:
1. A inclus˜ao de imagens em arquivo L
A
T
E
X pode tornar a compila¸c˜ao para gerar o PDF
muito lenta;
2. Uma sugest˜ao ´e salvar as imagens no servidor do MCTest, dispon´ıvel no seguinte link:
⟨http://mctest.ufabc.edu.br:8000/tmp/imgs180days/⟩. Esse servidor antes do /tmp/
deve ser alterado a cada implanta¸c˜ao do MCTest. O professor pode incluir um link
para essa imagem no enunciado da quest˜ao, permitindo que os estudantes acessem du-
rante a realiza¸c˜ao do exame.
3. Todos os arquivos tempor´arios s˜ao eliminados automaticamente do servidor ap´os 180
dias; contudo, essa configura¸c˜ao pode ser ajustada;
4.
´
E fundamental incluir os parˆametros no nome do arquivo da imagem caso a quest˜ao
seja param´etrica e a imagem varie conforme esses parˆametros. Isso pode ser feito como
demonstrado nas linhas 22 a 29 do C´odigo 12.3, onde uma string contendo os valores
dos parˆametros ´e usada para gerar um objeto hash, convertido em uma string leg´ıvel e
adicionado ao nome do arquivo de imagem. Dessa forma, cada imagem gerada ter´a um
nome ´unico, garantindo que n˜ao haja conflitos entre elas.
Merece uma explica¸c˜ao especial o nome do arquivo onde ser´a salva a imagem gerada. Esse
arquivo deve ser ´unico, minimizando a chance de criar um arquivo com o mesmo nome de outro
que j´a existe. Para garantir isso, ´e utilizada a biblioteca hashlib na linha 23 do C´odigo 12.3. Em
seguida, o c´odigo cria uma string s que cont´em os valores dos parˆametros a1, a2 e a3. Essa string
´e usada para criar um objeto hash, que ser´a usado para gerar um nome ´unico para o arquivo de
imagem. Depois, o objeto hash ´e convertido em uma string leg´ıvel e adicionado ao nome do arquivo
de imagem. Esse nome ´e composto pelo prefixo ./tmp/imgs180days/fz_figIntegral_01_, seguido
pelos valores dos parˆametros a1, a2 e a3 e pelo hash gerado anteriormente. Por fim, o sufixo .png
indica que a imagem ser´a salva em formato PNG. Dessa forma, ´e poss´ıvel gerar imagens ´unicas para
diferentes valores dos parˆametros.
Francisco de Assis Zampirolli MCTest 193
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Quest˜ao:
1 A integral da fun¸c~ao \([[code:a0]]\) tem seu gr´afico representado abaixo.
2 Calcule o valor da integral e marque a alternativa correta.
3
4 \begin{figure}[ht!]
5 \centering \includegraphics[scale=0.7]{[[code:figura]]}
6 \centerline{Figura da integral}
7 \end{figure}
8
9 [[def:
10 from sympy import symbols, sin, cos, plot, latex, Integral, integrate
11 import random
12
13 # Gera¸c~ao dos par^ametros aleat´orios
14 a1 = random.randrange(3, 6, 1)
15 a2 = random.randrange(2, 4, 1)
16 a3 = random.randrange(1, 3, 1)
17
18 # Defini¸c~ao da vari´avel simb´olica e da fun¸c~ao
19 x = symbols('x')
20 f = a1*sin(a2*x) - a3*cos(x)
21
22 # Plotagem da fun¸c~ao
23 import hashlib
24 s =str([a1,a2,a3])
25 h = hashlib.md5(s.encode()) # create hash - arquivo ´unico
26 h = str(h.hexdigest())
27 p = plot(f, (x, -5, 5), show=False)
28 figura = f'./tmp/imgs180days/fz_figIntegral_01_{a1}_{a2}_{a3}_{h}.png'
29 p.save(figura)
30
31 # C´alculo da integral e convers~ao para nota¸c~ao LaTeX
32 a0 = latex(Integral(f, x))
33 correctAnswer = latex(integrate(f, x))
34 error1 = latex(integrate(f + x, x))
35 error2 = latex(integrate(f - x, x))
36 error3 = latex(integrate(x**5 + x + 1, x))
37 # nas alternativas: \([[code:correctAnswer]]\); \([[code:error1]]\); ...
38 ]]
C´odigo 12.3: Quest˜ao param´etrica com equa¸c˜ao e figura.
Aten¸c˜ao:
A principal dificuldade ao lidar com quest˜oes param´etricas usando a biblioteca SymPy ´e
definir corretamente o intervalo das vari´aveis aleat´orias e tamb´em as respostas incorretas das
alternativas, sem gerar solu¸c˜oes inexistentes.
Francisco de Assis Zampirolli MCTest 194
12.2. MCTEST-5: A VERS
˜
AO WEB
Figura 12.5: Recorte do PDF gerado para a quest˜ao param´etrica com equa¸c˜ao e figura referente ao
C´odigo 12.3.
Quest˜ao param´etrica com grafo e figura
A quest˜ao param´etrica apresentada no C´odigo 12.4 cria o grafo G = (V, E), onde
V = n
1
, n
2
, · · · , n
p
´e um conjunto de n´os (ou v´ertices) e E ´e um conjunto de arestas (ou arcos),
sendo que cada e ∈ E ´e dado por e = (n
i
, n
j
) para n
i
, n
j
∈ V . As arestas podem ter peso e o
exemplo resolve o problema de encontrar o caminho de peso m´ınimo. Um caminho ´e uma sequˆencia
de v´ertices adjacentes, que determina uma sequˆencia de arestas, e o peso do caminho ´e calculado
somando os pesos de suas arestas.
Para gerar a imagem apresentada na Figura 12.6, ser´a utilizado o m´etodo draw da biblioteca
NetworkX (networkx.org) em conjunto com a biblioteca Matplotlib (matplotlib.org). No entanto,
´e importante notar que o c´odigo precisa ser modificado para tratar o caso em que existem dois ou
mais caminhos m´ınimos com o mesmo peso. Uma poss´ıvel solu¸c˜ao seria modificar o c´odigo para
descartar os pesos gerados nas linhas 16 e 17 quando existirem dois caminhos m´ınimos com o mesmo
peso. Essa modifica¸c˜ao ´e an´aloga `a condi¸c˜ao de aceitar apenas caminhos com pelo menos 5 v´ertices,
verificada nas linhas 21 e 22. Dessa forma, o c´odigo garantiria que apenas um caminho m´ınimo seria
considerado na gera¸c˜ao da imagem, o que ´e necess´ario para garantir que a QM com alternativas
Francisco de Assis Zampirolli MCTest 195
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
definidas nas linhas 30 e 31 tenha apenas uma correta.
Quest˜ao:
1 Qual ´e o caminho de Dijkstra neste grafo, entre os n´os \(a\) e \(e\), com os
2 seguintes pesos \\ \verb|[[code:grafo]]|?
3
4 \begin{figure}[!h]
5 \centering\includegraphics[scale=0.7]{[[code:pathGrafico]]}
6 \end{figure}
7
8 [[def:
9 import matplotlib.pyplot as plt, networkx as nx
10 from itertools import permutations
11
12 while True:
13 plt.clf()
14 G = nx.Graph() # Defini¸c~ao do grafo
15 w1,w2,w3,w4,w5,w6,w7 = random.sample(range(1,10), 7)
16 edges=[('a','b',w1),('b','c',w2),('a','c',w3),('c','d',w4),
17 ('b','d',w5),('d','e',w6),('e','c',w7)]
18 G.add_weighted_edges_from(edges)
19 grafo = str(edges)
20
21 v = nx.dijkstra_path(G, 'a', 'e') # C´alculo do caminho m´ınimo
22 if len(v)<5: continue # aceita pelo menos 5 n´os
23
24 perm_list = [] # criar permuta¸c~oes
25 for perm in permutations(v):
26 if perm[0] == v[0] and perm[-1] == v[-1]:
27 perm_list.append(perm)
28 break
29
30 correctAnswer = str(perm_list[0])
31 error1,error2,error3 = str(perm_list[1]), str(perm_list[2]), str(perm_list[3])
32 # nas alternativas: \verb|[[code:correctAnswer]]|\\ ; \verb|[[code:error1]]|\\ ...
33
34 pos = nx.spring_layout(G) # Plotagem do grafo
35 nx.draw(G, pos=pos)
36 nx.draw_networkx_labels(G, pos=pos)
37 nx.draw_networkx_edge_labels(G, pos=pos)
38
39 import hashlib # Salvando a figura
40 s =str(edges)
41 h = hashlib.md5(s.encode()) # create hash - arquivo ´unico
42 pathGrafico = 'figGrafo(' + str(h.hexdigest()) + ')'
43 plt.savefig(pathGrafico)
44 ]]
C´odigo 12.4: QM param´etrica com grafo e figura.
Francisco de Assis Zampirolli MCTest 196
12.2. MCTEST-5: A VERS
˜
AO WEB
Figura 12.6: Recorte do PDF gerado para a quest˜ao param´etrica com grafo e figura referente ao
C´odigo 12.4.
Quest˜ao param´etrica com matriz e figura
No arquivo static/Utils.py, localizado no GitHub github.com/fzampirolli/mctest, h´a v´arios
m´etodos ´uteis para a cria¸c˜ao de quest˜oes param´etricas. Um desses m´etodos ´e o drawMatrix(), que
permite desenhar uma matriz, conforme ser˜ao demonstrados nos c´odigos desta se¸c˜ao.
A quest˜ao apresentada nos C´odigos 12.6 e 12.7 prop˜oe a cria¸c˜ao de um programa que manipula
matrizes para identificar e ativar elementos com determinada condi¸c˜ao em rela¸c˜ao aos seus vizinhos.
O programa recebe uma matriz de entrada E e cria uma matriz de sa´ıda F , inicializada com o
valor “-1”. Um elemento (i, j) da matriz E ´e considerado “maior” ou “menor” em rela¸c˜ao aos seus
vizinhos nas dire¸c˜oes especificadas. As dire¸c˜oes s˜ao codificadas numericamente conforme a tabela
fornecida na quest˜ao (ver Figura 12.7). O programa deve percorrer a matriz de entrada E e, para
cada elemento que atenda `a condi¸c˜ao de ser “maior” ou “menor” em rela¸c˜ao aos seus vizinhos, o valor
correspondente na matriz de sa´ıda F deve ser atualizado. Ap´os a ativa¸c˜ao de todos os elementos que
atendem `a condi¸c˜ao, o programa deve imprimir a matriz F . Al´em disso, s˜ao fornecidos exemplos de
uma matriz de entrada e a sa´ıda correspondente, exibidos na forma de imagens. O programa deve
Francisco de Assis Zampirolli MCTest 197
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
M´etodo: desenha matriz
1 def drawMatrix(A, myfile):
2 """
3 Desenha uma representa¸c~ao visual de uma matriz e salva a imagem em um arquivo.
4 Exemplo de uso:
5 No enunciado da quest~ao, desenhe a seguinte figura
6 (copie o c´odigo abaixo para uma nova quest~ao):
7 \begin{figure}[h!]
8 \centering
9 \includegraphics[scale=0.55]{[[code:f"./tmp/imgs180days/{pathGraficoA}"]]}
10 \end{figure}
11
12 [[def:
13 import numpy as np
14 Lin, Col = 4, 5
15 A = np.random.randint(10, size=(Lin, Col))
16 # Plotagem da fun¸c~ao
17 import hashlib
18 s =str([Lin, Col])
19 h = hashlib.md5(s.encode()) # create hash - arquivo ´unico
20 h = str(h.hexdigest())
21 fig0 = f'fz_figExample01{Lin}_{Col}_{h}.png'
22 drawMatrix(A, fig0)
23 ]] """
24 import matplotlib.pyplot as plt
25
26 fig, ax = plt.subplots()
27 mat = ax.imshow(A, cmap='Pastel1', interpolation='nearest')
28
29 for x in range(A.shape[0]):
30 for y in range(A.shape[1]):
31 ax.annotate(str(A[x, y])[0], xy=(y, x), horizontalalignment='center',
32 verticalalignment='center')
33
34 plt.show()
35 fig.savefig(f'./tmp/imgs180days/{myfile}.png', dpi=300)
36 plt.close()
C´odigo 12.5: M´etodo para desenhar matriz.
conseguir lidar com matrizes de qualquer dimens˜ao e garantir que os elementos de borda da matriz F
sejam mantidos como “-1”. O exemplo fornecido mostra uma matriz de entrada e a matriz de sa´ıda
resultante ap´os a ativa¸c˜ao dos elementos que atendem `a condi¸c˜ao especificada. As imagens mostram
a representa¸c˜ao gr´afica das matrizes. Para simplificar a resolu¸c˜ao desta quest˜ao, ´e crucial destacar
que a
0
= (i, j) n˜ao se encontra em um pixel de borda. Em outras palavras, na matriz F , todos os
elementos correspondentes `as bordas devem ser mantidos com o valor “-1”. Um exemplo da sa´ıda
dessa quest˜ao pode ser observado na Figura 12.7.
Francisco de Assis Zampirolli MCTest 198
12.2. MCTEST-5: A VERS
˜
AO WEB
Quest˜ao:
1 Um elemento \(a_0=(i,j)\) ´e de uma matriz dito ser \textbf{[[code:direcao]]
2 [[code:maiormenor]]} se seu valor ´e [[code:maiormenor]] do que o valor de
3 seus vizinhos nas dire¸c~oes [[code:direcao_viz]], considerando a seguinte
4 codifica¸c~ao para as poss´ıveis dire¸c~oes:
5 \
6 \begin{table}[h!]
7 \centering\vspace{-2mm}
8 \begin{tabular}{lllll}
9 \cline{1-3}
10 \multicolumn{1}{|l|}{\(a_8=\) Noroeste} & \multicolumn{1}{l|}{\(a_1=\) Norte} &
11 \multicolumn{1}{l|}{\(a_2=\) Nordeste} & & \\ \cline{1-3}
12 \multicolumn{1}{|l|}{\(a_7=\) Oeste} & \multicolumn{1}{l|}{\(a_0=(i,j)\)} &
13 \multicolumn{1}{l|}{\(a_3=\) Leste} & & \\ \cline{1-3}
14 \multicolumn{1}{|l|}{\(a_6=\) Sudoeste} & \multicolumn{1}{l|}{\(a_5=\) Sul} &
15 \multicolumn{1}{l|}{\(a_4=\) Sudeste} & & \\ \cline{1-3}
16 \end{tabular}
17 \end{table}
18
19 \vspace{-2mm}
20 \noindent Fa¸ca um programa para criar e ler uma matriz de entrada \(E\) de inteiros.
21 Seu programa deve criar tamb´em uma matriz de sa´ıda \(F\) e inicializa-la com o valor
22 ``-1''. Diz-se que um elemento \((i,j)\) de \(F\) ´e \emph{ativado} quando ´e atribu´ıda a
23 \(F[i,j]\) o valor de \(E[i,j]\), isto ´e, quando \(F[i,j] \leftarrow E[i,j]\). O
24 seu programa deve tamb´em imprimir a matriz \(F\) depois de ativar todos os seus
25 elementos que s~ao \textbf{[[code:direcao]] [[code:maiormenor]]}. Veja a seguir
26 um exemplo \([[code:Linhas]] \times [[code:Colunas]]\) com a entrada e a sa´ıda
27 correspondente. \\
28
29 \noindent {\bf Obs.:} considere \(a_0=(i,j)\) n~ao pertencer a um pixel de borda, isto
30 ´e, na matriz \(F\) todos os elementos de borda ficam com valor ``-1''. O seu programa
31 deve funcionar para matrizes de quaisquer dimens~oes.
32
33 \begin{table}[h!]\vspace{-4mm}
34 \begin{tabular}{cc}
35 \includegraphics[scale=0.56]{[[code:f"./tmp/imgs180days/{pathGraficoA}"]]} &
36 \includegraphics[scale=0.56]{[[code:f"./tmp/imgs180days/{pathGraficoB}"]]}
37 \end{tabular}
38 \end{table}
39
40 \end{table}
C´odigo 12.6: Quest˜ao param´etrica com matriz – Parte 1: Descri¸c˜ao de quest˜ao.
Resultados
O MCTest foi aplicado na disciplina de Processamento da Informa¸c˜ao. Os resultados indicam
que o m´etodo ´e eficaz na gera¸c˜ao de exames com varia¸c˜oes nos textos, mantendo o mesmo conte´udo
e n´ıvel de dificuldade. Al´em disso, os estudantes consideraram as quest˜oes claras e relevantes para o
conte´udo da disciplina.
Foram apresentados trˆes exemplos de quest˜oes param´etricas, mas a quantidade de tipos e
varia¸c˜oes est´a diretamente relacionada `a criatividade do professor que as prepara.
Francisco de Assis Zampirolli MCTest 199
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Quest˜ao:
1 [[def:
2 import json, random, numpy as np
3
4 def direcoes(offset, dir):
5 """ M´etodo que retorna as dire¸c~oes adjacentes `a dire¸c~ao dada. """
6 dir1, dir2 = (dir - 1) % 8 + 1, (dir + 1) % 8 + 1
7 return (dir1, dir, dir2)
8
9 # Par^ametros utilizados no enunciado da quest~ao
10 #>>>> BEGIN
11 dir = random.choice([1,2,3,4,5,6,7,8])
12 direcaoAll = ["Norte","Nordeste","Oeste","Sudeste","Sul","Sudoeste","Leste","Noroeste"]
13 direcao = direcaoAll[dir-1]
14
15 maiormenor = random.choice(["maior", "menor"])
16 m, n = random.randrange(7, 9, 1), random.randrange(15, 21, 1)
17 Linhas, Colunas = m, n
18
19 #direcoes 0 1 2 3 4 5 6 7 8
20 offset = [[0,0],[-1,0],[-1,1],[0,1],[1,1],[1,0],[1,-1],[0,-1],[-1,-1]]
21 (dir1,dir0,dir2) = direcoes(offset,dir)
22 direcao_viz = "$a_"+str(dir1)+"$, $a_"+str(dir0)+"$, $a_"+str(dir2)+"$"
23 #<<<< END
24
25 A = (np.random.random((m, n)) * 10).astype(int)
26 B = (np.zeros(A.shape) - 1).astype(int)
27 for i in range(1, m - 1):
28 for j in range(1, n - 1):
29 if maiormenor == "menor":
30 if (A[i + offset[dir1][0], j + offset[dir1][1]] > A[i, j]
31 and A[i + offset[dir0][0], j + offset[dir0][1]] > A[i, j]
32 and A[i + offset[dir2][0], j + offset[dir2][1]] > A[i, j]):
33 B[i, j] = A[i, j]
34 else:
35 if (A[i + offset[dir1][0], j + offset[dir1][1]] < A[i, j]
36 and A[i + offset[dir0][0], j + offset[dir0][1]] < A[i, j]
37 and A[i + offset[dir2][0], j + offset[dir2][1]] < A[i, j]):
38 B[i, j] = A[i, j]
39
40 import hashlib
41 s =''.join([str(i) for i in A.flatten()]) # 2d to 1d to str
42 h = hashlib.md5(s.encode()) # create hash - arquivo ´unico
43 pathGrafico = 'figRosa(' + direcao + ')(' + maiormenor + ')(' + str(h.hexdigest()) + ')'
44 pathGraficoA, pathGraficoB = pathGrafico + 'a.png', pathGrafico + 'b.png'
45
46 drawMatrix(A, pathGraficoA)
47 drawMatrix(B, pathGraficoB)
48 ]]
C´odigo 12.7: Quest˜ao param´etrica com matriz – Parte 2: Bloco de c´odigo em Python.
Francisco de Assis Zampirolli MCTest 200
12.2. MCTEST-5: A VERS
˜
AO WEB
Figura 12.7: Recorte do PDF gerado para a quest˜ao param´etrica com matriz criada pelos C´odigos
12.6 e 12.7.
12.2.2 Artigo descrevendo o MCTest em conjunto com Google Forms e Google
Sheets
O artigo de Zampirolli, Batista, Iriarte e Junior (2020) aborda a adapta¸c˜ao do MCTest
para solucionar o problema de avalia¸c˜ao a distˆancia durante a pandemia. A solu¸c˜ao permite criar
quest˜oes param´etricas com Python e L
A
T
E
X. A corre¸c˜ao autom´atica ´e feita com o Google Forms e
Google Sheets, constituindo uma contribui¸c˜ao original. A solu¸c˜ao adaptada foi aplicada com sucesso
em uma turma de C´alculo 1 com 100 estudantes.
M´etodo
O MCTest permite a gera¸c˜ao eficiente de QTs ou de QMs que podem ser modificadas pa-
rametricamente, produzindo muitas varia¸c˜oes dessas quest˜oes. Isso ´e realizado por meio de v´arias
bibliotecas da linguagem de programa¸c˜ao Python, com as quais o MCTest calcula respostas auto-
maticamente. O MCTest tem a vantagem de permitir quest˜oes param´etricas criadas com L
A
T
E
X e
Python, com exemplos de uso apresentados no artigo e reproduzidos nesta se¸c˜ao.
O artigo descreve um desafio enfrentado na adapta¸c˜ao do MCTest para avalia¸c˜oes online
Francisco de Assis Zampirolli MCTest 201
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
durante a pandemia, j´a que o sistema originalmente gerava exames em papel para serem aplicados
em sala de aula. Para solucionar esse desafio, os autores prop˜oem uma solu¸c˜ao adaptada do MCTest
que gera exames e os envia por e-mail aos estudantes em formato PDF, com submiss˜oes realizadas
em uma planilha do Google Forms preenchida pelos estudantes e compilada ao professor em uma
planilha do Google Sheets.
A planilha do Google Sheets ´e adaptada para a corre¸c˜ao autom´atica, conforme apresentado
na Figura 12.8. Esta planilha tamb´em est´a dispon´ıvel em github.com/fzampirolli/mctest, no arquivo
static/MCTest_Forms.ods. A nota do estudante ´e calculada com base nas respostas enviadas, na
chave de respostas armazenada na aba templateAV1 e nas varia¸c˜oes sorteadas para cada estudante
na aba variationsAV1. A identifica¸c˜ao, nome e e-mail de cada estudante s˜ao armazenados na aba
listStudents. Todas essas abas s˜ao preenchidas com c´opias dos arquivos enviados pelo MCTest,
exemplificados a seguir. A pontua¸c˜ao ´e calculada para cada quest˜ao, incluindo uma QT com resposta
exata, nas colunas H e I (Q4 e Q5, respectivamente). Os autores explicam em detalhes como a
corre¸c˜ao autom´atica ´e realizada nas planilhas do Google Sheets, incluindo a corre¸c˜ao manual pelo
professor para avaliar a demonstra¸c˜ao da resposta exata apresentada pelo estudante para essa QT.
Os autores estenderam o c´odigo do MCTest para permitir a corre¸c˜ao autom´atica de QTs,
incluindo a possibilidade do professor receber dois arquivos CSV: um com as chaves de respostas
para cada quest˜ao e outro com o n´umero da varia¸c˜ao enviada para cada estudante. Al´em disso, o
c´odigo foi adaptado para permitir a cria¸c˜ao de QTs com respostas param´etricas exatas, inseridas em
um arquivo CSV e posteriormente na planilha do Google Sheets. Os autores apresentam exemplos
de QMs e QTs, como a apresentada na Se¸c˜ao 12.2.1 – Equa¸c˜oes param´etricas com equa¸c˜ao e figura
utilizando a biblioteca sympy, e explicam em detalhes como o MCTest lida com quest˜oes param´etricas
e a corre¸c˜ao autom´atica de QTs. Um exemplo de QT exata foi apresentado no C´odigo 8.1.
Figura 12.8: Planilha mostrando o question´ario preenchido de um estudante. Adaptado de Zampi-
rolli, Batista, Iriarte e Junior (2020).
Francisco de Assis Zampirolli MCTest 202
12.2. MCTEST-5: A VERS
˜
AO WEB
Arquivo CSV copiado na aba templateAV1, com os gabaritos. Ver explica¸c˜oes na Se¸c˜ao 8.3
– Detalhando os gabaritos no arquivo CSV (as colunas s˜ao separadas por v´ırgula)
variation Q1 Q2 Q3 Q4 Q5
1 C E D 3.47
2 B D B 3.99
3 A B C 4.07
4 D E C 4.11
5 E B A 4.29
6 E A C 3.94
7 B B D 3.56
8 B B D 4.16
9 B E B 3.73
10 C D B 4.63
Arquivo CSV copiado na aba variationsAV1, com os estudantes. Ver explica¸c˜oes na Se¸c˜ao
8.4 – Criando o PDF do exame com QR+QM+QT
Room ID Name Variation
Room1 1111 Student One 10
Room1 2222 Student Two 8
Arquivo CSV copiado na aba listStudents, com as varia¸c˜oes. Ver explica¸c˜oes na Se¸c˜ao
3.3.1 – Criar turma com arquivo CSV
1111 Student One student1@email.com
2222 Student Two student2@email.com
Experimentos
Os autores aplicaram o MCTest em uma turma da disciplina de C´alculo 1 na Universidade
Federal do ABC, composta por 100 estudantes. A disciplina ´e parte do Bacharelado em Ciˆencia e
Tecnologia e possui alta taxa de reprova¸c˜ao. Durante sete semanas, os estudantes assistiram `as aulas
online e fizeram dois testes formativos, cada um contendo cinco quest˜oes param´etricas, duas QTs
e trˆes QMs. Os testes foram dados no mesmo formato do modelo apresentado na Figura 12.9, com
quest˜oes e alternativas sorteadas. O Teste 1 foi aplicado online e os estudantes tiveram 24 horas
para responder. O Teste 2, assim como o Exame 1, foram mais complexos e contaram para a nota
final. Os estudantes tiveram dificuldades nas QTs, mas obtiveram bom desempenho nas QMs. A
taxa de erros foi baixa nos testes e exames, e os estudantes n˜ao relataram problemas t´ecnicos na
submiss˜ao das respostas. Os autores suspeitam que a facilidade de acesso a recursos online possa
ter influenciado no desempenho dos estudantes nas QTs. Para manter os estudantes engajados, o
professor aplicou um terceiro exame contendo apenas QTs com submiss˜ao de imagens digitalizadas
das respostas manuscritas.
Francisco de Assis Zampirolli MCTest 203
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Figura 12.9: Exemplo de exame utilizado em C´alculo 1. Adaptado de Zampirolli, Batista, Iriarte e
Junior (2020).
Os autores abordam a quest˜ao do pl´agio em contextos online e prop˜oem medidas preventivas,
incluindo a administra¸c˜ao de exames individualizados, a imposi¸c˜ao de restri¸c˜oes temporais e a super-
vis˜ao por meio de webcams. Contudo, eles reconhecem que em circunstˆancias extraordin´arias, como
a pandemia, torna-se necess´ario empregar ferramentas que viabilizem as atividades de aprendizado,
como mencionado no artigo.
Os resultados dos experimentos mostraram ser importante elaborar quest˜oes online com
enunciados melhor elaborados para os estudantes poderem raciocinar para achar as solu¸c˜oes e n˜ao
achar respostas prontas na internet. Os autores destacam que o MCTest pode ser uma ferramenta
valiosa para manter os estudantes engajados em atividades com QMs e sugerem a aplica¸c˜ao de v´arios
exames desse tipo, com corre¸c˜ao autom´atica, para estimular a participa¸c˜ao dos estudantes.
Francisco de Assis Zampirolli MCTest 204
12.2. MCTEST-5: A VERS
˜
AO WEB
12.2.3 Artigo descrevendo a ado¸c˜ao de QMs com pesos diferentes nas alterna-
tivas
O artigo de Zampirolli, Batista, Rodriguez, Rocha e Goya (2021) apresenta uma adapta¸c˜ao
do sistema MCTest que permite a avalia¸c˜ao automatizada de QMs com respostas ponderadas.
M´etodo
O sistema MCTest original produz um arquivo CSV que inclui as respostas para cada QM,
com as pontua¸c˜oes atribu´ıdas a cada alternativa. A adapta¸c˜ao proposta neste artigo introduz uma
coluna adicional no arquivo de respostas para cada quest˜ao, indicando o peso de cada alternativa.
O sistema de avalia¸c˜ao autom´atica calcula a nota do estudante ponderando a pontua¸c˜ao de cada
alternativa de acordo com seu respectivo peso.
O processo de cria¸c˜ao de quest˜oes e exames ´e o mesmo apresentado nos cap´ıtulos anteriores.
A diferen¸ca est´a na forma de calcular a nota do estudante. Esta se¸c˜ao detalhar´a esse processo.
A planilha utilizada no artigo dispon´ıvel no GitHub, em github.com/fzampirolli/mctest, no
arquivo static/GRADE.ods. Essa planilha possui duas abas principais. A primeira ´e a aba BD, con-
tendo as corre¸c˜oes geradas pelo MCTest ao submeter os exames digitalizados, conforme visualizado
na Figura 12.10. A segunda aba ´e para o c´alculo da nota final, como apresentado na Figura 12.11.
Figura 12.10: Visualiza¸c˜ao do arquivo CSV com as corre¸c˜oes. Adaptado de Zampirolli, Batista,
Rodriguez, Rocha e Goya (2021).
Na Figura 12.10, as colunas Q a Z na planilha mostram o ID da quest˜ao no BD e a ordem das
alternativas sorteadas para os estudantes. A c´elula Q2, por exemplo, possui o valor 11261203, onde
1126 ´e o ID da quest˜ao e 1203 indica a ordem das alternativas sorteadas (A=1, B=2, C=0, D=3).
Com f´ormulas simples, ´e poss´ıvel calcular a nota final atribuindo pesos `as alternativas. Na Figura
12.11, o peso da alternativa correta ´e 1, as parcialmente corretas tˆem peso 0,2 cada e a alternativa
absurda tem peso 0. O campo amarelo na Figura 12.11 exibe a pontua¸c˜ao de cada quest˜ao, onde
Francisco de Assis Zampirolli MCTest 205
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Figura 12.11: C´alculo final do exame. Adaptado de Zampirolli, Batista, Rodriguez, Rocha e Goya
(2021).
cada linha corresponde ao QR de um estudante. A nota total do estudante para o exame ´e calculada
somando as notas de cada quest˜ao.
O sistema MCTest pode ser usado para avaliar exames realizados em formato f´ısico ou online.
No caso de exames realizados em formato f´ısico, os estudantes respondem `as quest˜oes em um QR
impresso, como apresentado na Figura 12.9. O QR impresso ´e ent˜ao digitalizado e o sistema MCTest
´e usado para corrigir as respostas. No caso de exames realizados em formato online, os estudantes
respondem `as quest˜oes em um navegador da web, como descrito na Se¸c˜ao 12.2.2 – Artigo descrevendo
o MCTest em conjunto com Google Forms e Google Sheets.
Experimentos
O m´etodo deste artigo foi aplicado a exames realizados em formato f´ısico ou online e validado
com um total de 607 estudantes de trˆes diferentes disciplinas: Redes e Comunica¸c˜oes, Natureza da
Informa¸c˜ao e Compiladores. Os resultados mostraram que o sistema de corre¸c˜ao autom´atica ´e preciso
e confi´avel. O sistema foi bem avaliado pelos estudantes, que o consideraram uma ferramenta ´util
para a avalia¸c˜ao de seus conhecimentos.
Artigo comparando diferentes processos seletivos na EPUFABC
O artigo de Zampirolli, Batista, Josko, Steil e Trevisan (2021) analisa o processo de sele¸c˜ao
para a Escola Preparat´oria da UFABC (EPUFABC) aplicado a milhares de candidatos de escolas
p´ublicas da regi˜ao. A EPUFABC oferece um curso gratuito voltado exclusivamente para estudantes
de baixa renda que se inscrever˜ao em exames de entrada na universidade. O processo de sele¸c˜ao
emprega a Teoria Cl´assica ao Item (TCI), mas h´a d´uvidas sobre a imparcialidade dos crit´erios de
desempate. Por isso, os autores contrastam a abordagem atual do processo com a Teoria da Resposta
ao Item (TRI) (BIRNBAUM, 1968). Os resultados mostram que o m´etodo TRI pode melhorar
substancialmente o processo de sele¸c˜ao do EPUFABC.
O artigo menciona que o exame de entrada da Universidade de S˜ao Paulo (USP) ´e um exemplo
de sele¸c˜ao desafiadora, com in´umeros candidatos para poucas vagas. Para exames com alta taxa de
Francisco de Assis Zampirolli MCTest 206
12.2. MCTEST-5: A VERS
˜
AO WEB
inscri¸c˜ao, lidar com a nota de corte, na qual muitos candidatos provavelmente ter˜ao pontua¸c˜ao igual,
´e um desafio.
Para resolver esse problema, o Exame Nacional do Ensino M´edio (ENEM) no Brasil passou
a utilizar a Teoria da Resposta ao Item (TRI) desde 2009. A TRI tamb´em ´e empregada em outros
pa´ıses, como nos Estados Unidos, em exames como o TOEFL.
M´etodo
Os autores foram inspirados pela metodologia do ENEM e avaliaram o processo de sele¸c˜ao
utilizado pela EPUFABC, que atende a milhares de candidatos desde 2010. O exame de admiss˜ao
da EPUFABC ´e composto por 10 QMs para cada ´area de conhecimento, al´em de um exame de
Gram´atica Portuguesa, que substitui a reda¸c˜ao exigida pelo ENEM. As ´areas avaliadas s˜ao: Ciˆencias
Humanas, Ciˆencias da Natureza, L´ınguas e C´odigos (Inglˆes-Espanhol-Portuguˆes) e Matem´atica.
A avalia¸c˜ao comparou o Processo de Sele¸c˜ao do EPUFABC aplicado de 2019 a 2021 com o
ENEM, que adota o modelo log´ıstico de trˆes parˆametros da TRI. Foram desenvolvidos trˆes scripts
em Python e R no Google Colab para realizar as an´alises. Cada script passa por trˆes etapas: pr´e-
processamento, gera¸c˜ao da matriz de respostas (em Python) e an´alise estat´ıstica (em R). Todos os
dados utilizados no artigo podem ser baixados em vision.ufabc.edu.br/MCTest/public/IRT2021, que
inclui todos os arquivos CSV utilizados pelos Notebooks, mas sem a identifica¸c˜ao dos candidatos.
Para compara¸c˜oes, foram utilizados tamb´em os microdados do ENEM de 2019 disponibiliza-
dos pelo Minist´erio da Educa¸c˜ao. Os dados do ENEM requerem um pr´e-processamento complexo
devido ao seu tamanho, envolvendo segmenta¸c˜ao, extra¸c˜ao de colunas relevantes e gera¸c˜ao de matri-
zes de respostas.
Experimentos
Este estudo baseia-se em trˆes conjuntos de dados: (1) MCTest (2019 e 2020), (2) Moodle
(2021) e (3) ENEM (2019). Tanto a Teoria Cl´assica ao Item (TCI) quanto a Teoria da Resposta ao
Item (TRI) foram utilizadas para analisar e comparar os resultados.
Os exames TCI de 2019 e 2020 foram realizados presencialmente em um s´abado, com 50 QMs
nas cinco ´areas de conhecimento referidas anteriormente. Os exames foram corrigidos automatica-
mente pelo sistema MCTest, conforme explicado no Cap´ıtulo 7 – Exames com Quadro de Respostas
(QR). Em 2021, devido `a pandemia de COVID-19, o processo de sele¸c˜ao foi adaptado para exames
online, realizados ao longo de cinco dias. Os candidatos acessaram material de ensino (videoaulas)
e QMs na plataforma Moodle e tiveram 24 horas para responder. A pontua¸c˜ao final considerou o
n´umero de respostas corretas, presen¸ca nos cinco dias de exame e idade do candidato.
Em 2019, houve 2.033 candidatos no TCI, enquanto em 2020 houve 2.043 candidatos. Em
ambos os anos, 633 candidatos foram selecionados para a EPUFABC, sendo metade para aulas no
per´ıodo da tarde e a outra metade no per´ıodo da noite.
No exame de 2021, os candidatos realizaram o exame online na plataforma Moodle, totali-
zando 2.768 participantes. A EPUFABC ofereceu 380 vagas para o ano de 2021, sendo 190 vagas
para cada per´ıodo, e as aulas foram disponibilizadas remotamente na plataforma Moodle.
Francisco de Assis Zampirolli MCTest 207
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Foram calculadas m´edias e desvios padr˜ao para os exames de todas as ´areas de conhecimento
dos processos TCI2019, TCI2020 e ENEM2019. As an´alises tamb´em inclu´ıram Curvas Caracter´ısticas
do Item (CCI) da TRI. A compara¸c˜ao entre TCI e TRI mostrou que o m´etodo TRI pode ser ´util
como crit´erio de desempate em processos de sele¸c˜ao, j´a que considera a habilidade do candidato em
responder corretamente `as quest˜oes.
O estudo tamb´em destacou a melhora significativa nas notas dos candidatos no TCI2021,
que foi realizado online com mais tempo dispon´ıvel para responder `as quest˜oes, em compara¸c˜ao
com os processos presenciais anteriores. As an´alises mostraram que as habilidades dos candidatos
em TCI2021, representadas pelas curvas CCI, estavam mais concentradas no lado direito da escala,
indicando que candidatos com habilidades menores conseguiram acertar mais quest˜oes devido ao
tempo extra para responder cada exame.
Ap´os a continuidade deste trabalho, outro artigo de Zampirolli, Junior, Steil e Jr. (2021)
foi publicado, descrevendo o desenvolvimento de um sistema interativo chamado ENEM interativo
e dispon´ıvel em mctest.ufabc.edu.br:8000/ENEM. Esse sistema permite que os estudantes utilizem
exames antigos do ENEM e os microdados disponibilizados pelo INEP para estudo. No ENEM
Interativo, os exames em formato PDF s˜ao convertidos para HTML e, automaticamente, bot˜oes
de resposta s˜ao incorporados para cada quest˜ao. Ao finalizar cada exame, o bot˜ao de estat´ısticas
abre uma nova p´agina que apresenta informa¸c˜oes como o gabarito, as respostas dos estudantes, as
habilidades (valores fornecidos pelo INEP) e gr´aficos. O sistema proporciona uma plataforma mais
interativa e acess´ıvel para os estudantes explorarem exames anteriores do ENEM e analisarem seu
desempenho em detalhes, incluindo informa¸c˜oes estat´ısticas relevantes para a compreens˜ao de seu
progresso e habilidades.
12.3 Considera¸c˜oes finais
Neste cap´ıtulo, foram discutidas as vers˜oes 4 e 5 do MCTest, assim como os artigos que as
acompanharam. Ao longo do tempo, o MCTest passou por uma significativa evolu¸c˜ao, saindo de
suas primeiras vers˜oes focadas em exames impressos e se tornando uma vers˜ao web atual, integrada
tamb´em ao Moodle. Essa transforma¸c˜ao trouxe diversos benef´ıcios e avan¸cos para o sistema.
Os experimentos e casos de uso apresentados nos artigos destacaram a aplicabilidade bem-
sucedida do MCTest em diversas situa¸c˜oes reais de ensino. Isso refor¸ca a eficiˆencia e versatilidade do
sistema em diferentes contextos, abrangendo exames presenciais, online, individualizados e integra¸c˜ao
com plataformas como o Google Forms. Esse recurso mostrou-se especialmente relevante durante a
pandemia de COVID-19, permitindo a continuidade da avalia¸c˜ao educacional mesmo em cen´arios
remotos.
O MCTest-4 ´e um software desenvolvido para a corre¸c˜ao de exames com QMs. Ele automatiza
o processo de corre¸c˜ao, gerando resultados precisos e poupando tempo dos educadores. J´a o MCTest-
4.G foi criado para a gera¸c˜ao de exames com QMs, permitindo a cria¸c˜ao de exames distintos e
aleat´orios para cada estudante, proporcionando maior seguran¸ca na aplica¸c˜ao dos exames.
A vers˜ao mais recente, o MCTest-5, ´e considerada um software web altamente funcional.
Francisco de Assis Zampirolli MCTest 208
12.3. CONSIDERAC¸
˜
OES FINAIS
Al´em de possuir as funcionalidades do MCTest-4, o MCTest-5 permite a cria¸c˜ao, corre¸c˜ao e com-
partilhamento de quest˜oes, apresentando recursos avan¸cados e integra¸c˜ao com outras plataformas
educacionais, como o Moodle. No pr´oximo cap´ıtulo, ser˜ao destacadas especialmente as especificida-
des das quest˜oes que envolvem EPs integrados ao plugin VPL do Moodle.
Por fim, ´e relevante ressaltar que a maioria das publica¸c˜oes efetuadas nesta vers˜ao web do
MCTest foram subsidiadas pelo projeto FAPESP, sob o processo 2018/23561-1, cujo t´ıtulo ´e “Um
sistema universal para a gera¸c˜ao e corre¸c˜ao autom´atica de quest˜oes parametrizadas”.
Francisco de Assis Zampirolli MCTest 209
CAP
´
ITULO 12. MCTEST VERS
˜
OES 4, 4.G E 5
Francisco de Assis Zampirolli MCTest 210
Cap´ıtulo 13
MCTest+Moodle+VPL
Conte´udo
13.1 MCTest-5, com Moodle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
13.2 MCTest-5, com Moodle+VPL . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
13.2.1 Artigo com a primeira integra¸c˜ao entre MCTest+Moodle+VPL . . . . . 196
13.2.2 Artigo aplicando a integra¸c˜ao MCTest+Moodle+VPL em CS0 . . . . . 198
13.2.3 Artigo sobre o uso de m´ultiplas linguagens de programa¸c˜ao em CS1 . . 199
13.2.4 Artigo aplicando a integra¸c˜ao MCTest+Moodle+VPL em CS1 . . . . . 201
13.2.5 Artigo explorando a integra¸c˜ao de jogos no ensino de CS0 . . . . . . . . 202
13.3 Considera¸c˜oes finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
Neste cap´ıtulo, ser˜ao apresentados resumos dos artigos que relatam os m´etodos e experimentos
de integra¸c˜ao entre o MCTest e o Moodle, com foco especial na utiliza¸c˜ao do plugin VPL. A maioria
desses artigos j´a foi detalhada em cap´ıtulos anteriores deste livro e, portanto, n˜ao ser´a refeita a
apresenta¸c˜ao completa. Os experimentos foram realizados principalmente nas disciplinas de Bases
Computacionais da Ciˆencia (CS0) e Processamento da Informa¸c˜ao (CS1) do Bacharelado em Ciˆencia
e Tecnologia da Universidade Federal do ABC (UFABC).
13.1 MCTest-5, com Moodle
Artigo sobre a exporta¸c˜ao de quest˜oes param´etricas para o Moodle usando o
MCTest
O artigo de Zampirolli, Batista, Pimentel e Braga (2021) aborda a exporta¸c˜ao de quest˜oes
param´etricas para o Moodle atrav´es do MCTest, apresentado em detalhes no Cap´ıtulo 9 – Varia¸c˜oes
de exames com QM+QT para o Moodle. Neste cap´ıtulo, ´e explorada uma funcionalidade interessante
do MCTest que permite exportar varia¸c˜oes de exames nos formatos Aiken e XML, os quais podem
211
CAP
´
ITULO 13. MCTEST+MOODLE+VPL
ser utilizados pelo Moodle para criar um banco de quest˜oes.
Enquanto o Moodle suporta a cria¸c˜ao de quest˜oes parametrizadas usando valores curinga,
essas quest˜oes possuem limita¸c˜oes em rela¸c˜ao `as fun¸c˜oes dispon´ıveis na linguagem PHP. Ao utilizar
o MCTest para criar o banco de quest˜oes, obt´em-se uma vantagem, uma vez que ele suporta diversos
tipos de quest˜oes parametrizadas. Por exemplo, ´e poss´ıvel criar um exame contendo QMs e QTs com
respostas exatas. Em seguida, o exame ´e configurado para gerar varia¸c˜oes, salvando-o nos formatos
Aiken ou XML. Posteriormente, esses arquivos podem ser importados para o banco de quest˜oes do
Moodle, permitindo a cria¸c˜ao de uma atividade com as quest˜oes rec´em-importadas. Dessa forma, ´e
poss´ıvel criar atividades muito mais personalizadas, superando as limita¸c˜oes dos curingas oferecidos
apenas pelo Moodle.
O cap´ıtulo detalha a cria¸c˜ao de um exame composto por trˆes QMs param´etricas e uma QT
com resposta exata. Para cada quest˜ao, s˜ao fornecidos exemplos de implementa¸c˜ao e explica¸c˜ao
sobre como o MCTest pode ser utilizado para gerar diferentes varia¸c˜oes.
Al´em disso, s˜ao apresentados detalhes sobre o conte´udo dos arquivos nos formatos Aiken
e XML, utilizados para armazenar QMs e QTs com respostas exatas.
´
E importante ressaltar a
necessidade de remover os coment´arios adicionados pelo MCTest nos arquivos Aiken antes de import´a-
los para o Moodle. No caso dos arquivos XML, ´e enfatizada a complexidade da sintaxe e a importˆancia
de remover os coment´arios em L
A
T
E
X presentes em cada quest˜ao no MCTest. Deve-se tamb´em atentar
para o formato utilizado, como f´ormulas matem´aticas, que podem se tornar inv´alidas no Moodle
devido `a sua limita¸c˜ao na formata¸c˜ao de quest˜oes.
13.2 MCTest-5, com Moodle+VPL
Durante a pandemia de COVID-19, o MCTest desempenhou um papel crucial ao permitir a
avalia¸c˜ao remota de milhares de estudantes, principalmente em disciplinas que envolvem exerc´ıcios
de programa¸c˜ao (EP). Foram implementadas e validadas diversas funcionalidades em turmas para
viabilizar esse processo, com destaque para as principais melhorias apresentadas nesta se¸c˜ao.
13.2.1 Artigo com a primeira integra¸c˜ao entre MCTest+Moodle+VPL
Enquanto a Se¸c˜ao 12.1.3 – Artigo definindo a parametriza¸c˜ao do MCTest ap´os a vers˜ao 4
resumiu a primeira publica¸c˜ao sobre a parte param´etrica, a Se¸c˜ao 12.2.1 – Artigo apresentando a
primeira vers˜ao web do MCTest utilizou essa parametriza¸c˜ao na vers˜ao web do MCTest. Nesta pri-
meira integra¸c˜ao, as corre¸c˜oes dos EPs eram realizadas manualmente. Isso envolvia baixar todas as
submiss˜oes dos estudantes, executar scripts para testar os c´odigos submetidos e, posteriormente, atri-
buir as notas manualmente por parte dos professores. Nos resultados das pr´oximas se¸c˜oes, somente
a cria¸c˜ao de novas quest˜oes foi realizada de forma manual, conforme ser´a detalhado a seguir.
O artigo de Zampirolli, Pisani, Josko, Kobayashi, Silva, Goya e Savegnago (2020), resumido
nesta se¸c˜ao, apresenta uma solu¸c˜ao para simplificar a cria¸c˜ao e corre¸c˜ao de quest˜oes param´etricas
em uma disciplina de Processamento da Informa¸c˜ao (ou Introdu¸c˜ao `a Programa¸c˜ao, IP, ou tamb´em
CS1) com abordagem de ensino h´ıbrido (IP-BL – blended learning). A solu¸c˜ao integra a ferramenta
Francisco de Assis Zampirolli MCTest 212
13.2. MCTEST-5, COM MOODLE+VPL
de c´odigo aberto MCTest com o Moodle e o plugin VPL (Virtual Programming Lab) (PINO, 2012),
permitindo a gera¸c˜ao e avalia¸c˜ao autom´atica de quest˜oes param´etricas relacionadas `a linguagem de
programa¸c˜ao. Essa abordagem foi aplicada em duas turmas da disciplina, totalizando 171 estudantes
matriculados, e utilizou a linguagem de programa¸c˜ao Java.
M´etodo
A primeira parte do artigo aborda a parametriza¸c˜ao de QTs destinadas aos estudantes para
serem respondidas em folha de papel, com corre¸c˜ao manual. A quest˜ao apresentada ´e uma varia¸c˜ao
do teste de mesa, conforme demonstrado nos C´odigos 5.5 e 5.6. Esse tipo de quest˜ao foi inclu´ıdo no
Exame 1 da disciplina.
A segunda parte deste artigo apresenta uma quest˜ao parametrizada que pode ser submetida
pelos estudantes como atividade VPL no Moodle. Essa quest˜ao foi aplicada no Exame 2 e requer a
resolu¸c˜ao utilizando uma linguagem de programa¸c˜ao. Embora o IP-BL tenha adotado Java, qualquer
linguagem de programa¸c˜ao suportada pelo VPL do Moodle pode ser utilizada para resolver a quest˜ao.
O exemplo de quest˜ao apresentado no artigo envolve um operador e dois vetores. O operador e o
tamanho dos vetores s˜ao parˆametros que podem ser modificados para obter v´arios modelos da mesma
quest˜ao.
A principal contribui¸c˜ao deste artigo ´e o uso de quest˜oes param´etricas com avalia¸c˜ao auto-
matizada usando o VPL. O MCTest produz quest˜oes param´etricas, conforme descrito nos cap´ıtulos
anteriores. No entanto, uma grande dificuldade para os professores em disciplinas de programa¸c˜ao
com muitos estudantes ´e a corre¸c˜ao e o feedback. O VPL veio para fornecer essa parte, mas at´e
ent˜ao, sem abordar a parte param´etrica. Para resolver isso, o artigo apresentou um m´etodo para
automatizar o EP parametrizado, sendo a principal contribui¸c˜ao para o estado da arte da Tecnologia
da Informa¸c˜ao e Comunica¸c˜ao (TIC) na educa¸c˜ao apresentada neste artigo.
O sistema padr˜ao do VPL aceitava apenas uma ´unica vers˜ao de uma quest˜ao, o que exigiria
criar uma avalia¸c˜ao pr´atica de EP para cada vers˜ao de cada quest˜ao em um exame. Por exemplo, em
um exame com trˆes quest˜oes, cada uma com seis varia¸c˜oes, o professor precisaria criar e configurar
18 avalia¸c˜oes pr´aticas diferentes. Al´em disso, os estudantes precisam escolher as vers˜oes corretas
segundo as avalia¸c˜oes exclusivas, o que pode levar a confus˜oes e erros.
Utilizando o sistema modificado, o professor precisa criar trˆes quest˜oes e 6 casos de teste.
Em seguida, o estudante precisa enviar um segundo arquivo TXT contendo uma ´unica linha como
“MODELO: A”, que representa o modelo da quest˜ao, definida no PDF do exame. Esse arquivo
de texto ´e analisado utilizando uma express˜ao regular para isolar o c´odigo de modelo para aquele
estudante, e em seguida, ´e usado para escolher o modelo correto dos arquivos de casos de teste
utilizados pelo professor. Cada modelo tem seu pr´oprio arquivo de casos de teste, que substitui o
arquivo padr˜ao do VPL.
Ap´os a cria¸c˜ao de uma atividade do VPL no Moodle, em “Arquivos de execu¸c˜ao”, o professor
precisa adicionar seis casos de teste e outros arquivos dispon´ıveis em github.com/fzampirolli/mctest,
na pasta VPL_modification/V1-select_using_second_file. Esses arquivos foram criados pelo
Heitor Rodrigues Savegnago e seu orientador Prof. Dr. Paulo Henrique Pisani.
Francisco de Assis Zampirolli MCTest 213
CAP
´
ITULO 13. MCTEST+MOODLE+VPL
Como o m´etodo apresentado no artigo j´a est´a ultrapassado, ele n˜ao ser´a replicado neste livro.
No entanto, um m´etodo mais atualizado e aprimorado foi apresentado no Cap´ıtulo 10 – Exames com
MCTest+Moodle+VPL, eliminando a necessidade desses modelos.
Experimentos
Nos primeiros quatro meses de 2019, a disciplina CS1 recebeu um total de 1.437 matr´ıculas de
estudantes distribu´ıdos em 46 turmas presenciais ou blended learning (IP-BL). As turmas presenciais
adotaram as linguagens de programa¸c˜ao Java (36/46=78% das turmas) ou Python. Em contraste,
as turmas de IP-BL aplicaram uma combina¸c˜ao de pseudoc´odigo e Java (2/46=4%), ou seja, os
estudantes desenvolveram solu¸c˜oes em pseudoc´odigo (atrav´es da ferramenta Portugol Studio) e as
traduziram para c´odigo Java. O foco deste artigo ´e nas turmas de IP-BL, onde a proposta foi aplicada
em 2019. Analisando as ofertas anteriores, foi observado uma melhora geral na oferta no primeiro
per´ıodo de 2019, quando o m´etodo do artigo foi aplicado. No entanto, os autores n˜ao puderam
afirmar que essa ´e a raz˜ao para o melhor desempenho.
13.2.2 Artigo aplicando a integra¸c˜ao MCTest+Moodle+VPL em CS0
O artigo de Zampirolli, Sato, Savegnago, Batista e Kobayashi (2021) apresenta o contexto e
desafios da educa¸c˜ao a distˆancia devido `a pandemia, destacando a adapta¸c˜ao de sistemas de c´odigo
aberto, como o Moodle e o MCTest. As principais contribui¸c˜oes s˜ao a melhoria das capacidades de
cria¸c˜ao de atividades individualizadas e a integra¸c˜ao do MCTest com o plugin VPL do Moodle.
Neste artigo, ´e apresentado um m´etodo para criar e corrigir EPs parametrizados. A con-
tribui¸c˜ao principal consiste em gerar listas unificadas de exerc´ıcios param´etricos, para as quais s˜ao
produzidos casos de teste automaticamente. Esse m´etodo foi validado na disciplina de Bases Compu-
tacionais da Ciˆencia (CS0) durante a pandemia de COVID-19. As listas de exerc´ıcios individualizados
foram enviadas semanalmente por e-mail para os estudantes por uma adapta¸c˜ao do sistema MCTest.
A corre¸c˜ao autom´atica foi realizada por meio de uma adapta¸c˜ao no plugin VPL do Moodle. Os
recursos propostos foram utilizados por 28 turmas, totalizando 1.407 estudantes. Um question´ario
enviado aos estudantes revelou que cerca de 82% deles aprovaram o m´etodo.
M´etodo
Os C´odigos 5.12 e 5.13 introduziram as QTs param´etricas com a integra¸c˜ao MCTest+Moodle+
VPL, e o Cap´ıtulo 10 – Exames com MCTest+Moodle+VPL apresentou o processo de cria¸c˜ao de um
exame com essa integra¸c˜ao. O artigo apresenta o primeiro experimento utilizando esse processo na
disciplina de Bases Computacionais da Ciˆencia (CS0) na UFABC em 2020, que ser´a resumido nesta
se¸c˜ao.
O artigo tamb´em apresenta exemplos de quest˜oes param´etricas e explica como compilar o
conte´udo das quest˜oes utilizando o MCTest. Foram realizadas melhorias em rela¸c˜ao `a vers˜ao anterior
do m´etodo, como a gera¸c˜ao autom´atica de quest˜oes agrupadas em uma lista semanal em PDF enviada
Francisco de Assis Zampirolli MCTest 214
13.2. MCTEST-5, COM MOODLE+VPL
por e-mail para cada estudante, evitando a repeti¸c˜ao de exerc´ıcios, e a elimina¸c˜ao da necessidade de
cria¸c˜ao manual de casos de teste para cada modelo.
Em resumo, o m´etodo utilizado para produzir as listas semanais foi o seguinte:
1. Elaborar quest˜oes conforme o modelo apresentado;
2. Montar as quest˜oes em um Exame, especificando tamb´em as turmas;
3. Escolher o formato “Json” ao selecionar “Criar-Varia¸c˜oes” na p´agina de Exame. Os casos de
teste ser˜ao enviados por e-mail para o professor em um arquivo *_linker.json;
4. Clicar no bot˜ao “Criar-PDF” do exame, escolhendo antes “Sim” para feedback ao estudante.
O MCTest enviar´a ao professor o arquivo *_students_variations.csv que especifica qual
varia¸c˜ao foi selecionada para cada estudante;
5. Mover ambos os arquivos para “Arquivos de Execu¸c˜ao” em uma atividade VPL do Mo-
odle, ap´os renome´a-los como linker.json e students_variations.csv, juntamente com
os arquivos de adapta¸c˜ao do VPL dispon´ıveis em github.com/fzampirolli/mctest, na pasta
VPL_modification/V10-new_selector;
6. Esses arquivos incluem makefile, vpl_evaluate.sh e zip.tar.gz.b64.
Esses arquivos disponibilizados no GitHub tamb´em foram criados pelo Heitor Rodrigues
Savegnago e seu orientador Prof. Dr. Paulo Henrique Pisani.
Experimentos
Devido `a diversidade de crit´erios de avalia¸c˜ao adotados pelos v´arios professores, n˜ao foi
poss´ıvel unificar a an´alise das 43 turmas de CS0 em 2020.2 em rela¸c˜ao `as notas finais.
Cada professor aplicou seu pr´oprio crit´erio para calcular as notas finais dos estudantes, se-
guindo as regras da universidade, que inclu´ıam dar pelo menos 72 horas para os estudantes enviarem
suas solu¸c˜oes de exames, o que ajudava em caso de limita¸c˜oes de acesso `a internet. Alguns professores
optaram por utilizar apenas as listas unificadas para calcular as notas finais dos estudantes, enquanto
outros combinaram as listas com projetos em grupo, e alguns ainda inclu´ıram exames tradicionais.
Apesar da dificuldade de comparar os desempenhos, constatou-se que: (1) Os 505 estudantes
das 15 turmas que n˜ao adotaram nenhum dos recursos obtiveram uma taxa de aprova¸c˜ao de 80%;
(2) A mesma taxa foi alcan¸cada pelos 137 estudantes das quatro turmas que adotaram apenas o
material unificado; (3) Utilizando material e listas unificados, tratadas pelo MCTest+Moodle+VPL,
765 estudantes restantes das 24 turmas obtiveram uma taxa de aprova¸c˜ao de 81%. Esse n´umero
contrasta com a m´edia hist´orica anterior de 75%, calculada para 23.461 estudantes desde 2009.
´
E
importante destacar que a disciplina CS0 em 2020.2 foi realizada 100% a distˆancia pela primeira
vez. Para contornar a imprecis˜ao devido aos diversos crit´erios de avalia¸c˜ao, no final de 2020.2, um
question´ario foi enviado aos professores, tutores e estudantes para avaliar a metodologia proposta.
Embora apenas quatro professores e quatro tutores tenham retornado com seus coment´arios, foram
obtidas 443 respostas dos estudantes, o que foi bastante satisfat´orio, como apresentado no artigo.
Francisco de Assis Zampirolli MCTest 215
CAP
´
ITULO 13. MCTEST+MOODLE+VPL
13.2.3 Artigo sobre o uso de m´ultiplas linguagens de programa¸c˜ao em CS1
No artigo de Zampirolli, Teubl, Kobayashi, Neves, Rozante e Batista (2021), foi aplicado
o mesmo m´etodo apresentado anteriormente, na disciplina de Processamento da Informa¸c˜ao (ou
Introdu¸c˜ao `a Programa¸c˜ao, IP, ou tamb´em CS1) da UFABC, durante a pandemia. A principal
contribui¸c˜ao deste novo artigo foi disponibilizar material did´atico e avaliativo em seis linguagens de
programa¸c˜ao para corre¸c˜ao autom´atica utilizando a integra¸c˜ao MCTest+Moodle+VPL.
M´etodo
O m´etodo apresentado no artigo permite que cada estudante escolha sua linguagem de pro-
grama¸c˜ao preferida para aprender l´ogica de programa¸c˜ao. O material did´atico ´e disponibilizado em
v´arias linguagens por meio de notebooks no Colab. Al´em disso, os estudantes podem optar por dife-
rentes linguagens de programa¸c˜ao para praticar com exerc´ıcios e enviar suas solu¸c˜oes como c´odigos
de programa¸c˜ao. As solu¸c˜oes s˜ao individualizadas devido ao uso de quest˜oes param´etricas geradas
com a integra¸c˜ao MCTest+Moodle+VPL.
A gera¸c˜ao autom´atica do material did´atico para seis linguagens de programa¸c˜ao ´e detalhada
no artigo, utilizando o conte´udo do livro “Processando a Informa¸c˜ao” de Neves e Zampirolli (2017).
O livro possui sete cap´ıtulos que abordam conceitos fundamentais, estrutura¸c˜ao de c´odigo, condicio-
nais, la¸cos, vetores, matrizes e t´opicos avan¸cados. Para cada um dos seis primeiros cap´ıtulos, foram
criados arquivos no formato ipynb contendo as notas de aula e exemplos em v´arias linguagens. Al´em
disso, foram criados notebooks para as listas de exerc´ıcios pr´aticos, todos armazenados na pasta “all”
(ver Figura 13.1) do Google Drive disponibilizado pela Editora da UFABC, no seguinte endere¸co:
⟨https://editora.ufabc.edu.br/matematica-e-ciencias-da-computacao/58-processando-a-informacao⟩
(a) (b)
Figura 13.1: (a) estrutura de arquivos e pastas; (b) recorte da estrutura de arquivos e pastas gerados
automaticamente, detalhando a pasta 1.py para Python. Fonte: Zampirolli, Teubl, Kobayashi,
Neves, Rozante e Batista (2021).
Em cada arquivo ipynb da pasta “all” da Figura 13.1, a primeira linha de cada c´elula, seja
de texto ou c´odigo, pode conter a(s) linguagem(ns) de programa¸c˜ao escolhida(s) para o conte´udo
Francisco de Assis Zampirolli MCTest 216
13.2. MCTEST-5, COM MOODLE+VPL
daquela c´elula. Isso segue a sintaxe #[tipo1]#[tipo2]#...#[tipon]#, em que tipoi ´e a extens˜ao
do arquivo do c´odigo na linguagem escolhida.
O filtro filterNotebook.py, dispon´ıvel em github.com/fzampirolli/filterNotebook, permite
filtrar notebooks com base na linguagem de programa¸c˜ao e convertˆe-los para os formatos HTML, La-
TeX e PDF. Essa ferramenta suporta v´arias linguagens de programa¸c˜ao, e o n´umero de combina¸c˜oes
poss´ıveis depende do n´umero de linguagens definidas.
Experimentos
O m´etodo foi validado em 5 turmas remotas, totalizando 223 estudantes, com uma taxa m´edia
de aprova¸c˜ao de 90%. Ele se mostrou facilmente adapt´avel e oferece flexibilidade aos estudantes,
possibilitando uma abordagem mais personalizada no processo de aprendizagem de programa¸c˜ao.
Os estudantes da disciplina CS1 foram divididos em dois grupos. O Grupo 1 teve aulas
s´ıncronas (te´oricas e pr´aticas) e os estudantes foram obrigados a gravar v´ıdeos explicativos para as
atividades. O Grupo 2 teve aulas ass´ıncronas e os estudantes n˜ao foram obrigados a gravar v´ıdeos
explicativos. Os resultados do question´ario aplicado aos estudantes mostraram que o Grupo 1 teve
uma avalia¸c˜ao mais positiva da disciplina do que o Grupo 2. Em particular, os estudantes do Grupo
1 ficaram mais satisfeitos com as aulas s´ıncronas, com o material did´atico e com as avalia¸c˜oes. A
an´alise estat´ıstica tamb´em mostrou que o m´etodo aplicado ao Grupo 1 foi estatisticamente melhor do
que o m´etodo aplicado ao Grupo 2. Os estudantes dos dois grupos concordaram que a disciplina foi
importante para aprender sobre programa¸c˜ao e o conhecimento de v´arias linguagens de programa¸c˜ao
´e ´util para a carreira profissional.
Os resultados deste estudo sugerem que as aulas s´ıncronas podem ser uma forma eficaz de
ensinar programa¸c˜ao. No entanto, ´e importante que as aulas s´ıncronas sejam bem planejadas e os
estudantes sejam motivados a participar.
13.2.4 Artigo aplicando a integra¸c˜ao MCTest+Moodle+VPL em CS1
O artigo de Zampirolli, Josko, Venero, Kobayashi, Silva, Goya e Savegnago (2021), publicado
na revista Computer Applications in Engineering Education e resumido nesta se¸c˜ao, descreve um
experimento significativo envolvendo a implementa¸c˜ao do m´etodo apresentado na Se¸c˜ao 13.2.1 –
Artigo com a primeira integra¸c˜ao entre MCTest+Moodle+VPL (ZAMPIROLLI, 2020). Esse estudo
complementa um artigo anterior publicado na mesma revista, resumido na Se¸c˜ao 12.1.2 – Artigo
comparando as modalidades semipresencial e presencial CS1 com base na utilidade do MCTest-4
(ZAMPIROLLI, 2018).
Nesse novo estudo, a integra¸c˜ao MCTest+Moodle+VPL foi incorporada como parte do pro-
cesso de ensino e avalia¸c˜ao na disciplina CS1. Inicialmente, tentou-se publicar tanto o m´etodo quanto
o experimento em um ´unico artigo nesta revista. No entanto, os revisores consideraram o conte´udo
muito denso, o que levou `a separa¸c˜ao em dois artigos distintos: Zampirolli, Pisani, Josko, Kobayashi,
Silva, Goya e Savegnago (2020) e Zampirolli, Josko, Venero, Kobayashi, Silva, Goya e Savegnago
(2021).
Francisco de Assis Zampirolli MCTest 217
CAP
´
ITULO 13. MCTEST+MOODLE+VPL
M´etodo
A principal caracter´ıstica da abordagem consiste na implementa¸c˜ao da avalia¸c˜ao automati-
zada (AA) em uma disciplina CS1 com v´arias turmas. Esse m´etodo engloba a formula¸c˜ao de quest˜oes
individuais para cada estudante e a disponibiliza¸c˜ao de avalia¸c˜ao e feedback autom´aticos.
Para a realiza¸c˜ao da avalia¸c˜ao unificada, foram empregadas quest˜oes param´etricas e respostas
(nos casos de QMs) atrav´es do MCTest. Essa estrat´egia possibilitou a combina¸c˜ao de distintos tipos
de quest˜oes para gerar um exame personalizado para cada estudante. J´a para as QTs, foi utilizada a
integra¸c˜ao MCTest+Moodle+VPL, na qual os estudantes tiveram que submeter EPs em atividades
VPL do Moodle.
Importante destacar que todo o processo avaliativo utilizado neste artigo foi previamente
detalhado e exemplificado em cap´ıtulos anteriores deste livro. Al´em disso, ´e poss´ıvel criar v´arias
turmas pelo coordenador de disciplina, conforme detalhado na Se¸c˜ao 3.2.2 – Criar v´arias turmas
com arquivo CSV. Da mesma forma, ´e explicado no Cap´ıtulo 6 – Vis˜ao geral dos exames como
enviar um exame tamb´em para v´arias turmas.
Experimentos
A principal caracter´ıstica do experimento realizado ´e a capacidade de aplicar AA e exames
unificados parametrizados em diferentes linguagens de programa¸c˜ao, utilizando as ferramentas de
c´odigo aberto MCTest e Moodle (com o plugin VPL). No primeiro trimestre de 2019, 19 das 44
turmas (presenciais) adotaram a abordagem, alcan¸cando uma taxa de aprova¸c˜ao mais alta (67,5%)
em compara¸c˜ao com as turmas que n˜ao utilizaram a solu¸c˜ao de AA (59,1%), mantendo uma dispers˜ao
padr˜ao semelhante. Resultados preliminares tamb´em indicaram uma forte correla¸c˜ao linear entre a
taxa de aprova¸c˜ao e a m´edia das notas nas AA. Nas turmas de aprendizagem mista (blended learning),
duas turmas utilizaram o m´etodo nos exames unificados, com uma taxa de aprova¸c˜ao de 70,4%.
Esses resultados corroboram estudos anteriores, indicando que a avalia¸c˜ao cont´ınua combinada com
feedback imediato pode contribuir para o processo de aprendizagem dos estudantes.
13.2.5 Artigo explorando a integra¸c˜ao de jogos no ensino de CS0
O artigo de Josko e Zampirolli (2023) discute uma interven¸c˜ao pedag´ogica que emprega
elementos de gamifica¸c˜ao para a introdu¸c˜ao de conceitos de l´ogica de programa¸c˜ao em estudantes.
No estudo, os autores realizaram um estudo de caso envolvendo 48 alunos matriculados no curso
introdut´orio de programa¸c˜ao (CS0) intitulado Bases Computacionais da Ciˆencia, parte do programa
de Bacharelado em Ciˆencia e Tecnologia da UFABC. Importante ressaltar que o curso foi ministrado
online devido `a pandemia.
M´etodo
A interven¸c˜ao pedag´ogica consistiu em construir gradualmente um jogo simples utilizando
a biblioteca Pygame (pygame.org) do Python no Google Colab (colab.google). Conceitos como
instru¸c˜oes sequenciais, bibliotecas, estruturas de decis˜ao e de repeti¸c˜ao, al´em de simula¸c˜oes, foram
Francisco de Assis Zampirolli MCTest 218
13.3. CONSIDERAC¸
˜
OES FINAIS
introduzidos `a medida que novas funcionalidades eram inclu´ıdas no jogo. Al´em disso, foram utilizadas
avalia¸c˜oes autom´aticas e feedback para os estudantes, conforme relatado em outro artigo descrito na
Se¸c˜ao 13.2.2 – Artigo aplicando a integra¸c˜ao MCTest+Moodle+VPL em CS0.
Experimentos
Os autores aplicaram um question´ario para capturar as perspectivas dos estudantes sobre
a abordagem. As an´alises sugeriram que os elementos de gamifica¸c˜ao melhoraram a motiva¸c˜ao em
rela¸c˜ao aos t´opicos do curso. Adicionalmente, a taxa de reprova¸c˜ao do grupo estudado foi menor do
que a m´edia de outras turmas no per´ıodo da pandemia.
Assim, a interven¸c˜ao recebeu feedback positivo dos estudantes. Entretanto, os autores afir-
mam que estudos controlados com maiores amostras s˜ao necess´arios para avaliar plenamente a efe-
tividade da abordagem.
13.3 Considera¸c˜oes finais
Neste cap´ıtulo, foram apresentados v´arios artigos que relatam experiˆencias importantes com
a integra¸c˜ao do MCTest com o Moodle e o plugin VPL. Essas integra¸c˜oes permitiram a avalia¸c˜ao
automatizada de EPs em diversas disciplinas, com destaque para:
• Cria¸c˜ao de QTs param´etricas e de QMs corrigidas manualmente e automaticamente;
• Exporta¸c˜ao de quest˜oes do MCTest para o banco de quest˜oes do Moodle, superando limita¸c˜oes;
• Gera¸c˜ao de listas unificadas de EPs param´etricos com casos de teste automatizados;
• Disponibiliza¸c˜ao de material did´atico e avaliativo em v´arias linguagens de programa¸c˜ao;
• Uso de avalia¸c˜ao cont´ınua e feedback imediato, resultando em maior taxa de aprova¸c˜ao.
Os artigos apresentam a evolu¸c˜ao e aprimoramentos dessas integra¸c˜oes ao longo do tempo.
Al´em disso, foi observado que as turmas que utilizaram os m´etodos propostos tiveram um desempenho
melhor. No entanto, ´e dif´ıcil afirmar que essa foi a ´unica raz˜ao para o melhor desempenho.
Portanto, ´e poss´ıvel concluir que as abordagens propostas neste cap´ıtulo se mostraram eficazes
e pr´aticas, especialmente no contexto de ensino remoto durante a pandemia COVID-19. Essas inte-
gra¸c˜oes abrem novas possibilidades para oferecer avalia¸c˜oes personalizadas, automatizadas e flex´ıveis
em diversas disciplinas, como as de programa¸c˜ao.
Francisco de Assis Zampirolli MCTest 219
CAP
´
ITULO 13. MCTEST+MOODLE+VPL
Francisco de Assis Zampirolli MCTest 220
Cap´ıtulo 14
Conclus˜oes
Conte´udo
14.1 Novas possibilidades de aprimoramento . . . . . . . . . . . . . . . . . . . . . . 206
14.2 Novas publica¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
14.3 Novas edi¸c˜oes deste livro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
O MCTest, sistema apresentado neste livro, proporciona aos professores uma ferramenta
poderosa para aprimorar a avalia¸c˜ao das habilidades dos estudantes. Ao utilizar o MCTest, os
docentes conseguem reduzir o esfor¸co de cria¸c˜ao e corre¸c˜ao de exames e exerc´ıcios envolvendo quest˜oes
de m´ultipla escolha (QMs) ou dissertativas (QTs). As QTs podem conter exerc´ıcios de programa¸c˜ao
(EPs), permitindo que os estudantes submetam os c´odigos em atividades VPL do Moodle.
Ao longo do tempo, o MCTest evoluiu por meio de suas diversas vers˜oes, incorporando novas
tecnologias, metodologias e objetivos. Uma contribui¸c˜ao significativa do MCTest ´e sua habilidade
em criar quest˜oes parametrizadas, que combinam descri¸c˜oes em L
A
T
E
X com c´odigos em Python.
O MCTest foi empregado com sucesso em processos seletivos da Especializa¸c˜ao em Tecno-
logias e Sistemas de Informa¸c˜ao e na Escola Preparat´oria da UFABC, bem como em exames de
disciplinas ministradas na gradua¸c˜ao e na p´os-gradua¸c˜ao. Essa efic´acia foi comprovada na avalia¸c˜ao
de disciplinas de computa¸c˜ao e outras ´areas.
A natureza de c´odigo aberto do MCTest, dispon´ıvel no GitHub, permite que ele seja utilizado
e modificado sob a licen¸ca AGPL3. No entanto, cada institui¸c˜ao deve definir seus pr´oprios crit´erios
em rela¸c˜ao aos direitos autorais do conte´udo disponibilizado no MCTest.
Este livro foi organizado em quatro partes principais, focadas em diferentes aspectos do
MCTest, abrangendo desde os fundamentos at´e experimentos. Na Parte I – Fundamentos, s˜ao
abordados a introdu¸c˜ao, componentes b´asicos e funcionalidades essenciais do MCTest. A Parte II –
Quest˜oes no MCTest, trata dos diferentes tipos de quest˜oes dispon´ıveis, como QMs e QTs com c´odigo.
A Parte III – Exames, aborda o processo de cria¸c˜ao e gerenciamento de exames no MCTest, incluindo
221
CAP
´
ITULO 14. CONCLUS
˜
OES
a integra¸c˜ao com Moodle e VPL. Por fim, a Parte IV – Experimentos de Uso do MCTest, apresenta
estudos de caso e exemplos pr´aticos do uso do sistema em ambientes educacionais, publicados em
artigos cient´ıficos, envolvendo quadro de respostas (QR), QMs e/ou QTs e a integra¸c˜ao com Moodle
e VPL. Essa estrutura possibilita uma abordagem abrangente sobre o sistema, atendendo a diferentes
necessidades dos usu´arios.
Durante a jornada desta obra, foram exploradas as funcionalidades do MCTest, apresentando-
se suas principais caracter´ısticas e recursos. Espera-se que esta obra tenha sido proveitosa aos leitores,
fornecendo uma vis˜ao detalhada de como o MCTest pode ser utilizado de maneira eficaz em contextos
educacionais.
O MCTest continua em constante evolu¸c˜ao e aprimoramento, incentivando os usu´arios a
contribu´ırem com suas experiˆencias e feedbacks para torn´a-lo ainda mais eficiente e adequado `as
demandas educacionais em evolu¸c˜ao.
14.1 Novas possibilidades de aprimoramento
O MCTest oferece oportunidades para o desenvolvimento de novas funcionalidades, por meio
de orienta¸c˜oes de trabalho de conclus˜ao de curso e mestrado. Alguns trabalhos em andamento de
melhorias incluem:
• Agrupamento de quest˜oes utilizando processamento de linguagem natural: possibilitando a
organiza¸c˜ao e categoriza¸c˜ao mais eficiente das quest˜oes com base em t´ecnicas de processamento
de linguagem natural, tornando a busca e sele¸c˜ao de quest˜oes mais precisa e relevante;
• Melhorias no empacotamento do MCTest para futuras implanta¸c˜oes: visando facilitar a ins-
tala¸c˜ao e utiliza¸c˜ao do sistema em diferentes ambientes, aprimorando sua usabilidade para os
usu´arios;
• Implementa¸c˜ao de aprendizado adapt´avel: utilizando dados de desempenho dos estudantes
para criar avalia¸c˜oes personalizadas no MCTest. Isso permitiria que o sistema se adapte ao
progresso individual de cada estudante, proporcionando uma experiˆencia de aprendizado mais
eficaz e direcionada, de acordo com suas necessidades espec´ıficas;
• Facilita¸c˜ao da corre¸c˜ao e automa¸c˜ao de exames: buscando uma integra¸c˜ao mais estreita entre o
MCTest e a plataforma Moodle. Essa integra¸c˜ao permitiria que os resultados das avalia¸c˜oes fos-
sem automaticamente registrados no ambiente do Moodle, simplificando o processo de corre¸c˜ao
e oferecendo um feedback imediato e detalhado aos estudantes sobre seu desempenho;
• Desenvolvimento de um sistema distribu´ıdo em Python para gera¸c˜ao e corre¸c˜ao segura de
exames, com a capacidade de executar quest˜oes param´etricas em servidores externos, visando
aumentar a seguran¸ca e reduzir a vulnerabilidade do servidor do MCTest.
Essas potenciais melhorias agregam ainda mais utilidade e eficiˆencia ao MCTest. Al´em disso,
proporcionam oportunidades de pesquisa e desenvolvimento para estudantes interessados em contri-
Francisco de Assis Zampirolli MCTest 222
14.2. NOVAS PUBLICAC¸
˜
OES
buir para o aprimoramento cont´ınuo do sistema, promovendo sua evolu¸c˜ao para atender `as necessi-
dades educacionais em constante mudan¸ca.
Al´em das mencionadas, existem diversas outras possibilidades de melhorias para o sistema.
Algumas delas incluem:
• Implementar a funcionalidade de salvar e recuperar o banco de quest˜oes de um professor em
formato JSON, permitindo uma gest˜ao mais eficiente e organizada das quest˜oes;
• Utilizar recursos de seguran¸ca para proteger as comunica¸c˜oes entre o cliente e o servidor, como
HTTPS, evitando potenciais ataques de intercepta¸c˜ao de dados;
• Implementar a valida¸c˜ao de e-mails dos usu´arios para garantir que apenas usu´arios autorizados
possam acessar determinadas funcionalidades do sistema;
• Ampliar a variedade de tipos de quest˜oes, al´em das QMs e QTs, para possibilitar a cria¸c˜ao de
avalia¸c˜oes mais diversificadas e ricas em conte´udo, conforme apresentado nos artigos de Teubl,
Batista e Zampirolli (2021) e Teubl, Batista e Zampirolli (2022);
• Aprimorar a interface do usu´ario, tornando-a mais intuitiva e amig´avel, a fim de facilitar a
navega¸c˜ao e o uso do sistema;
• Implementar as avalia¸c˜oes das habilidades e competˆencias dos estudantes em atividades en-
volvendo EPs em atividades VPL do Moodle, al´em do teste de mesa introduzido no artigo de
Teubl e Zampirolli (2023)
1
;
• Incorporar funcionalidades de an´alise de dados e estat´ısticas para os educadores poderem ob-
ter vis˜oes sobre o progresso dos estudantes e a efic´acia das quest˜oes propostas, por exemplo,
utilizando a Teoria de Resposta ao Item.
Essas melhorias s˜ao apenas algumas das possibilidades que podem tornar o sistema mais
completo, seguro e eficiente, atendendo melhor `as necessidades dos usu´arios e proporcionando uma
experiˆencia de aprendizado mais enriquecedora.
14.2 Novas publica¸c˜oes
Atualmente, est˜ao em fase de an´alise mais novos artigos diretamente relacionados ao MC-
Test. Um deles trata do uso bem-sucedido do MCTest na disciplina de Processamento Digital de
Imagens. Esse estudo examina como o MCTest pode ser aplicado de maneira eficaz para avaliar os
conhecimentos adquiridos pelos estudantes nessa disciplina espec´ıfica, contribuindo para uma melhor
compreens˜ao dos resultados e progresso dos estudantes.
1
Optou-se por n˜ao incluir o artigo de Teubl e Zampirolli (2023) no cap´ıtulo anterior de experimentos que utilizou a
integra¸c˜ao MCTest+Moodle+VPL. Essa decis˜ao decorre do fato de que esta vers˜ao dever´a ser incorporada em trabalho
futuro, que abranger´a a avalia¸c˜ao de uma ampla gama de habilidades e competˆencias dos estudantes, incluindo a
habilidade de solucionar testes de mesa no VPL.
Francisco de Assis Zampirolli MCTest 223
CAP
´
ITULO 14. CONCLUS
˜
OES
Al´em desse, a inten¸c˜ao ´e escrever mais artigos `a medida que novas funcionalidades relevantes
forem incorporadas ao MCTest. A evolu¸c˜ao cont´ınua do sistema possibilita a explora¸c˜ao de diversas
´areas de pesquisa e a identifica¸c˜ao de novas oportunidades para aprimorar o processo de avalia¸c˜ao
das habilidades dos estudantes.
Outros pesquisadores da ´area tamb´em tˆem a oportunidade de adotar este sistema de c´odigo
aberto para implementar suas pr´oprias contribui¸c˜oes, desde que as compartilhem publicamente,
permitindo que outros tamb´em se beneficiem das melhorias realizadas.
Com essas publica¸c˜oes, busca-se disseminar o conhecimento e compartilhar experiˆencias sobre
o uso do MCTest em diferentes contextos acadˆemicos. A produ¸c˜ao cient´ıfica nessa ´area ´e fundamental
para promover a efic´acia do sistema e incentivar o desenvolvimento de novas pr´aticas pedag´ogicas e
tecnol´ogicas no ensino em geral. As novas publica¸c˜oes contribuir˜ao para a expans˜ao do conhecimento
sobre o MCTest e sua aplicabilidade em diversas disciplinas e cen´arios educacionais.
14.3 Novas edi¸c˜oes deste livro
Como perspectiva para futuras edi¸c˜oes deste livro, est˜ao previstas inclus˜oes de novas partes
que expandam o escopo das informa¸c˜oes apresentadas. Dentre as possibilidades, destacam-se as
seguintes partes:
• Integra¸c˜ao com o Moodle: Uma parte dedicada `a integra¸c˜ao entre o MCTest e o Moodle,
uma plataforma popular de aprendizado a distˆancia, permitiria explorar diversos tipos de
quest˜oes. Seriam abordadas quest˜oes cl´assicas, quest˜oes de c´odigo (VPL) e a sinergia do
MCTest com o Moodle e o VPL, proporcionando ao leitor uma vis˜ao mais abrangente das
possibilidades de integra¸c˜ao entre essas ferramentas;
• T´opicos Avan¸cados: Nessa se¸c˜ao, os aspectos t´ecnicos do MCTest seriam aprofundados,
abordando temas como bibliotecas e instala¸c˜oes, arquitetura de software, gerenciamento de
banco de dados, vis˜ao computacional e seguran¸ca. Essa abordagem detalhada permitiria ao
leitor compreender melhor os fundamentos e desafios t´ecnicos do sistema.
Essas adi¸c˜oes seriam de grande valia para enriquecer ainda mais o conte´udo do livro, forne-
cendo aos leitores informa¸c˜oes detalhadas sobre a integra¸c˜ao do MCTest com outras plataformas e
aspectos t´ecnicos avan¸cados. Dessa forma, o livro se consolidaria como uma referˆencia abrangente e
atualizada sobre essa importante ferramenta de avalia¸c˜ao de habilidades dos estudantes. A amplia¸c˜ao
do escopo do livro permitiria acompanhar o progresso cont´ınuo do MCTest e atender `as demandas
dos leitores por informa¸c˜oes relevantes e atualizadas sobre a ´area.
Francisco de Assis Zampirolli MCTest 224
Bibliografia
BIRNBAUM, A.L. Some latent trait models and their use in inferring an examinee’s ability.
Statistical theories of mental test scores, Addison-Wesley, 1968.
CALSAVARA, Alcides; SERRA, Ana Paula Gon¸calves; ZAMPIROLLI, Francisco de Assis;
CARVALHO, Leandro Silva Galv˜ao de; JONATHAN, Miguel; CORREIA, Ronaldo Celso Messias.
M´etodo baseado nos referenciais de forma¸c˜ao da sbc para reestrutura¸c˜ao de descritivos de disciplinas
de ciˆencia da computa¸c˜ao em conformidade com as DCN de 2016. In: Workshop sobre Educa¸c˜ao
em Computa¸c˜ao. [S.l.: s.n.], 2018. <doi>.
CHINA, Rodrigo Teiske; ZAMPIROLLI, Francisco de Assis. Corre¸c˜ao autom´atica de testes de
m´ultipla escolha utilizando processamento de imagem e v´ıdeo no android. In: SICUFABC. [S.l.:
s.n.], 2014. <url>.
CHINA, Rodrigo Teiske; ZAMPIROLLI, Francisco de Assis; NEVES, Rog´erio; QUILICI-
GONZALEZ, Jos´e Artur. An application for automatic multiple-choice test grading on android.
REVISTA BRASILEIRA DE INICIAC¸
˜
AO CIENT
´
IFICA, v. 3, p. 1–22, 2016. ISSN
2359232X.
CORREIA, Ronaldo Celso Messias; CALSAVARA, Alcides; SERRA, Ana Paula Gon¸calves;
ZAMPIROLLI, F. A.; JONATHAN, Miguel. Ciˆencia da computa¸c˜ao: A hist´oria e as caracter´ısticas
dos cursos de ciˆencia da computa¸c˜ao no brasil. p. 12–16, 2018. <url>.
HINTZE, J.L.; NELSON, R.D. Violin plots: a box plot-density trace synergism. The American
Statistician, Taylor & Francis, v. 52, n. 2, p. 181–184, 1998.
HOGAN, Emma; LI, Ruoxuan; RAJ, Adalbert Gerald Soosai. CS0 vs. CS1: Understanding fears
and confidence amongst non-majors in introductory CS courses. In: Proceedings of the 54th
ACM Technical Symposium on Computer Science Education V. 1. [S.l.: s.n.], 2023. p.
25–31.
JOSKO, Jo˜ao Marcelo; ZAMPIROLLI, Francisco de Assis. Introducing programming logic
consistently through gamification. In: Simp´osio Brasileiro de Inform´atica na Educa¸c˜ao. [S.l.:
s.n.], 2023.
JW, T. Exploratory data analysis. Reading: Addison-Wesley, 1977.
KOBAYASHI, Guiou; ZAMPIROLLI, Francisco de Assis; QUILICI-GONZALEZ, Jos´e Artur.
Report of a distance learning course of specialization in information technology in a brazilian public
university. In: IEEE Frontiers in Education Conference. [S.l.: s.n.], 2016. <doi>.
LAMPORT, Leslie. Latex–a document preparation system addison–wesley. Reading, MA, 1985.
NEVES, Rog´erio; ZAMPIROLLI, Francisco de Assis. Processando a informa¸c˜ao: um livro
pr´atico de programa¸c˜ao independente de linguagem. S˜ao Bernardo do Campo: EdUFABC,
2017. ISBN 9788568576717.
225
BIBLIOGRAFIA
PINO, Juan Carlos Rodr´ıguez-del; ROYO, Enrique Rubio; FIGUEROA, Zen´on Hern´andez. A
virtual programming lab for moodle with automatic assessment and anti-plagiarism features. 2012.
SOUZA, F´abio Rezande de; ZAMPIROLLI, Francisco de Assis; KOBAYASHI, Guiou. Convolutional
neural network applied to code assignment grading. In: International Conference on Computer
Supported Education. [S.l.: s.n.], 2019. ISBN 9789897583674. <doi>.
TEUBL, Fernando; BATISTA, Val´erio Ramos; ZAMPIROLLI, Francisco de Assis. Maketests:
Generate and correct individualized questions with many styles. In: International Conference
on Computer Supported Education. [S.l.: s.n.], 2021. <doi>.
TEUBL, Fernando; BATISTA, Val´erio Ramos; ZAMPIROLLI, Francisco de Assis. Maketests: A
flexible generator and corrector for hardcopy exams. In: Computer Supported Education. 1.
ed. [S.l.: s.n.], 2022. p. 293–315. ISBN 9783031147562. <doi>.
TEUBL, Fernando; ZAMPIROLLI, Francisco de Assis. Automated correction for trace tables in a
CS1 course. In: Simp´osio Brasileiro de Inform´atica na Educa¸c˜ao. [S.l.: s.n.], 2023.
ZAMPIROLLI, Francisco de Assis; BATISTA, Val´erio Ramos; IRIARTE, Edson Alex Arr´azola;
JUNIOR, Irineu Antunes. Online assessments with parametric questions and automatic corrections:
an improvement for MCTest using google forms and sheets. In: Simp´osio Brasileiro de
Inform´atica na Educa¸c˜ao. [S.l.: s.n.], 2020. <doi>.
ZAMPIROLLI, Francisco de Assis; BATISTA, Val´erio Ramos; JOSKO, Jo˜ao Marcelo; STEIL,
Leonardo Jos´e; TREVISAN, Sandra Cristina. Experiments in selection processes of students for a
crammer. In: Latin American Conference on Learning Objects and Technologies. [S.l.:
s.n.], 2021. <doi>.
ZAMPIROLLI, Francisco de Assis; BATISTA, Val´erio Ramos; PIMENTEL, Edson Pinheiro;
BRAGA, Juliana. Facilitating the generation of parametric questions and their export to moodle.
In: IEEE Frontiers in Education Conference. [S.l.: s.n.], 2021. <url>.
ZAMPIROLLI, Francisco de Assis; BATISTA, Val´erio Ramos; QUILICI-GONZALEZ, Jos´e Artur.
An automatic generator and corrector of multiple choice tests with random answer keys. In: IEEE
Frontiers in Education Conference. [S.l.: s.n.], 2016. <doi>.
ZAMPIROLLI, Francisco de Assis; BATISTA, Val´erio Ramos; RODRIGUEZ, Carla Lopes;
ROCHA, Rafaela Vilela da; GOYA, Denise. Automated assessment with multiple-choice questions
using weighted answers. In: 13th International Conference on Computer Supported
Education. [S.l.: s.n.], 2021. <url>.
ZAMPIROLLI, Francisco de Assis; CHINA, Rodrigo Teiske; NEVES, Rog´erio; QUILICI-
GONZALEZ, Jos´e Artur. Automatic correction of multiple-choice tests on android devices. In:
Workshop de Vis˜ao Computacional. [S.l.: s.n.], 2015. <url>.
ZAMPIROLLI, Francisco de Assis; GOYA, Denise; PIMENTEL, Edson Pinheiro; KOBAYASHI,
Guiou. Evaluation process for an introductory programming course using blended learning
in engineering education. COMPUTER APPLICATIONS IN ENGINEERING
EDUCATION, v. 2018, p. 1–13, 2018. ISSN 10613773.
ZAMPIROLLI, Francisco de Assis; JOSKO, Jo˜ao Marcelo; VENERO, Mirtha Lina Fernand´ez;
KOBAYASHI, Guiou; SILVA, Francisco Jos´e Fraga da; GOYA, Denise; SAVEGNAGO,
Heitor Rodrigues. An experience of automated assessment in a large-scale introduction programming
course. COMPUTER APPLICATIONS IN ENGINEERING EDUCATION, p. 1284–1299,
2021. ISSN 10613773.
Francisco de Assis Zampirolli MCTest 226
BIBLIOGRAFIA
ZAMPIROLLI, Francisco de Assis; JUNIOR, Irineu Antunes; STEIL, Leonardo Jos´e; JR.,
Leandro Teodoro. Interactive ENEM: exams with statistics and free access. In: Latin American
Conference on Learning Objects and Technologies. [S.l.: s.n.], 2021. <doi>.
ZAMPIROLLI, Francisco de Assis; PISANI, Paulo Henrique; JOSKO, Jo˜ao Marcelo; KOBAYASHI,
Guiou; SILVA, Francisco Jos´e Fraga da; GOYA, Denise; SAVEGNAGO, Heitor Rodrigues.
Parameterized and automated assessment on an introductory programming course. In: Simp´osio
Brasileiro de Inform´atica na Educa¸c˜ao. [S.l.: s.n.], 2020. <doi>.
ZAMPIROLLI, Francisco de Assis; QUILICI-GONZALEZ, Jos´e Artur; NEVES, Rog´erio. Automatic
correction of multiple-choice tests using digital cameras and image processing. In: Workshop de
Vis˜ao Computacional. [S.l.: s.n.], 2013. <url>.
ZAMPIROLLI, Francisco de Assis; SATO, Cristiane M.; SAVEGNAGO, Heitor Rodrigues;
BATISTA, Val´erio Ramos; KOBAYASHI, Guiou. Automated assessment of parametric
programming in a large-scale course. In: Latin American Conference on Learning Objects
and Technologies. [S.l.: s.n.], 2021. <doi>.
ZAMPIROLLI, Francisco de Assis; TEUBL, Fernando; BATISTA, Val´erio Ramos. A generator and
corrector of parametric questions in hard copy. In: International Conference on Information
Technology : New Generations. [S.l.: s.n.], 2019. <url>.
ZAMPIROLLI, Francisco de Assis; TEUBL, Fernando; BATISTA, Val´erio Ramos. Online generator
and corrector of parametric questions in hard copy useful for the elaboration of thousands of
individualized exams. In: International Conference on Computer Supported Education.
[S.l.]: SCITEPRESS - Science and Technology Publications, Lda, 2019. ISBN 9789897583674.
<doi>.
ZAMPIROLLI, Francisco de Assis; TEUBL, Fernando; KOBAYASHI, Guiou; NEVES, Rog´erio;
ROZANTE, Luiz; BATISTA, Val´erio Ramos. Introductory computer science course by adopting
many programming languages. In: Simp´osio Brasileiro de Inform´atica na Educa¸c˜ao. [S.l.:
s.n.], 2021. <doi>.
Francisco de Assis Zampirolli MCTest 227
BIBLIOGRAFIA
Francisco de Assis Zampirolli MCTest 228
Este livro ensina como criar e avaliar exames com questões
paramétricas, um tipo especial de questão que incorpora valores
aleatórios em seu enunciado. O livro também relata as melhores
experiências dos últimos 12 anos em avaliações automatizadas, que
proporcionaram benefícios para milhares de estudantes da UFABC.
Exemplo: Na área de Lógica de Programação, o livro apresenta um
programa que retorna a matriz "nordeste maior" a partir da matriz
de entrada, assim como ilustrado neste exemplo na capa. Já em
Processamento Digital de Imagens, a solução é alcançada por meio
da utilização de erosão ou dilatação com um elemento estruturante
de tamanho 3x3.
Obs.: Esta questão possui 16 variações, sendo 8 relacionadas às
direções cardeais e as opções de maior ou menor. Além disso, é
possível variar as dimensões da matriz e seus respectivos valores.
Para disciplinas mais avançadas, é possível aumentar a vizinhança,
por exemplo, para 5x5 ou 7x7, criando ainda mais variações.
